介绍

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。


其主要应用场景是：日志收集系统和消息系统。

安装

1、安装JDK 1.8.0

rpm -jvh jdk-8u101-linux-x64.rpm
#验证是否安装成功
java -version
##
# java version "1.8.0_101"

2、安装zookeeper

tar -zxvf zookeeper-3.4.8.tar.gz
cd zookeeper-3.4.8/conf
mv zoo_sample.cfg zoo.cfg
cd ..
./bin/zkServer.sh start
# 开启后可以用下面命令检测是否运行成功
ps aux |grep zookeeper

3、安装kafka

1、运行kafka

tar -zxvf kafka.tgz
cd /opt/kafka/bin
nohup ./kafka-server-start.sh /opt/kafka/config/server.properties &

2、创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic data-test
# 创建成功控制台会显示：
# Created topic "data-test".
cd bin/
# 查看topic列表
./kafka-topics.sh --list --zookeeper localhost:2181

4、测试

生产消息

./kafka-console-producer.sh --broker-list localhost:9092 --topic test Kafka test!    
# 这里的“Kafka test!”为手动输入的，输入后“ctrl +c”退出；

消费消息

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning I'm laoyang  
# 之前测试输入的内容 kafka test!

完~