linux安装配置 kafka并简单使用

目录

一 解压安装包

二 修改配置

三 启动kafka 

四 简单使用 kafka 

---

一 解压安装包

        这里提供了网盘资源

链接: https://pan.baidu.com/s/1wUxEQuiPB1wRsjJ-FPPu7Q?pwd=9rm7 提取码: 9rm7

        这里安装包上传至/opt/insatll目录

        解压至/opt/soft目录

tar -zxf /opt/install/kafka_2.12-2.8.0.tgz -C /opt/soft

         解压后改个名

mv kafka_2.12-2.8.0/ kafka212

二 修改配置

        新建一个消息存放目录

mkdir -p /opt/soft/kafka212/kfkdata

         修改配置文件

cd kafka212/config/

 vim ./server.properties 

        修改为自己的 ip

advertised.listeners=PLAINTEXT://172.25.38.169:9092

        设置消息存储位置 

log.dirs=/opt/soft/kafka212/kfkdata

         设置消息存放时间，超过时间删除，这里单位是小时

log.retention.hours=1680

         这里可以不做修改也可以改成自己的 ip

zookeeper.connect=localhost:2181

         使我们可以删除 topic

delete.topic.enable=true

        修改环境变量

vim /etc/profile

#KAFKA
export KAFKA_HOME=/opt/soft/kafka212
export PATH=$KAFKA_HOME/bin:$PATH

        修改完后 source 一下 

 source /etc/profile

三 启动kafka 

        启动 kafka 之前必须先启动zookeeper

zkServer.sh start

nohup kafka-server-start.sh  /opt/soft/kafka212/config/server.properties &
--或直接
kafka-server-start.sh

四 简单使用 kafka 

         创建topic

kafka-topics.sh --create --zookeeper 172.25.38.169:2181 --topic kb23 --partitions 1 --replication-factor 1

        查看 topic 列表

kafka-topics.sh  --zookeeper 172.25.38.169:2181 --list

         新建两个窗口，分别作为消费者和生产者

        生产者命令行界面

kafka-console-producer.sh --topic kb23 --broker-list 172.25.38.169:9092

        消费者命令行界面

kafka-console-consumer.sh --topic kb23 --bootstrap-server 172.25.38.169:9092 --from-beginning

        生产者界面发送消息，消费者界面将能收到消息 

        --from-beginning这个参数表示消费者接受以前的所有消息，不加则表示从最新的消息开始接收

        

        查看 topic 详情 

 kafka-topics.sh  --zookeeper 172.25.38.169:2181 --describe --topic kb23

        查看队列消息数量 

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.25.38.169:9092 --topic kb23

        删除 topic（执行完后将 topic 标记为 delete 状态,下次重启则被删除）

kafka-topics.sh  --zookeeper 172.25.38.169:2181 --delete --topic kb23