β

大数据实验室(大数据基础培训)——Kafka的安装、配置及基础使用

孤岛旭日的个人空间 63 阅读

<p> 为某企业做的培训,完整文档见: <a href="http://gudaoxuri.github.io/bd-lab/" rel="nofollow" target="_self"> http://gudaoxuri.github.io/bd-lab/ </a> </p> <div> <h2> 11. Kafka </h2> <div class="sectionbody"> <div class="sidebarblock"> <div class="content"> <div class="paragraph"> <p> 此主题介绍Kafka的安装、配置及基础使用。 </p> </div> </div> </div> <div> <blockquote> <div class="paragraph"> <p> Kafka介绍 <br/> <a href="http://www.infoq.com/cn/articles/kafka-analysis-part-1" rel="nofollow"> http://www.infoq.com/cn/articles/kafka-analysis-part-1 </a> </p> </div> </blockquote> <div> — infoq.com </div> </div> <div> <div class="title"> Kafka基本信息 </div> <pre><code>官网:http://kafka.apache.org/</code></pre> </div> <div> <h3> 11.1. 环境准备 </h3> <div class="listingblock"> <pre><code># 切换到工作空间 cd /opt/workspaces

创建Kafka数据目录

mkdir data/kafka

创建Kafka日志目录

mkdir logs/kafka</code></pre> </div> </div> <div> <h3> 11.2. 安装 </h3> <div class="listingblock"> <pre><code>wget http://mirrors.cnnic.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz tar -zxf kafka_2.10-0.8.2.2.tgz rm -rf kafka_2.10-0.8.2.2.tgz mv kafka_2.10-0.8.2.2 ./frameworks/kafka</code></pre> </div> </div> <div> <h3> 11.3. 配置(伪分布式) </h3> <div class="listingblock"> <div class="title"> vi ./frameworks/kafka/config/server.properties </div> <pre><code># 设置如下参数: broker.id=0 port=9092

对外主机名

advertised.host.name=&lt;Docker对外IP&gt;

数据目录

log.dirs=/opt/workspaces/data/kafka

连接ZK

zookeeper.connect=localhost:2181</code></pre> </div> <div> <table> <tbody> <tr> <td> 当您有多块网卡或使用特殊的网络设置导致Kafka启动时使用的IP与对外暴露的IP不同时需要指定 <code> advertised.host.name </code> 为您期望使用的外网IP </td> </tr> </tbody> </table> </div> <div> <table> <tbody> <tr> <td> <code> log.dirs </code> 的解释为 <code> A comma seperated list of directories under which to store log files </code> ,这里所谓的日志文件指的是Kafka的消息持久化文件,并不是一般意义的运行日志 </td> </tr> </tbody> </table> </div> <div> <div class="title"> vi ./frameworks/kafka/config/log4j.properties </div> <pre><code># 设置日志目录 kafka.logs.dir=/opt/workspaces/logs/kafka</code></pre> </div> </div> <div> <h3> 11.4. 启动与停止 </h3> <div class="listingblock"> <pre><code>nohup ./frameworks/kafka/bin/kafka-server-start.sh ./frameworks/kafka/config/server.properties &gt;/dev/null 2&gt;&amp;1 &amp;</code></pre> </div> </div> <div> <h3> 11.5. 测试 </h3> <div class="listingblock"> <pre><code>./frameworks/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test ./frameworks/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test &gt; This is a message &gt; This is another message

在另个窗口输入

./frameworks/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning &gt; This is a message &gt; This is another message</code></pre> </div> </div> </div> </div>