• Kafka管理平台LogiKM调研


    目前团队管理核心诉求

    topic 创建、申请、指标查看等操作;

    topic 管控、治理、集群运维操作。

    开源版、商业版对比

    简而言之,开源版的LogiKM在平台UI展示和商业版相同,但是部分功能无法使用,因为商业版依赖滴滴自建的KafkaGateway,目前该组件没有开源。

    开源版本支持功能列表

    在这里插入图片描述

    LogiKM产品主要分为用户和运维(管理员)视角

    Kafka 用户:关注的是 Topic 相关的操作,Topic 资源申请与扩容、Topic 指标监控、Topic 消费告警、Topic 消息采样、Topic 消费重置等。
    Kafka 运维:关注的是 Kafka 集群相关的操作,集群监控、集群安装、集群升级、集群 Topic 迁移、集群容量规划等。

    安装手册

    LogiKM使用说明书(推荐阅读)

    集群运维

    1. 接入集群–创建reagon–创建逻辑集群(共享集群则所有用户都可以查看)
    2. 没有监控信息检查jmx端口是否开放、网络权限是否足够
    3. 监控指标详解,mysql中_metrics结尾的表存储监控数据
    4. 需要关注指标:
      byteRejected(B/s) 每秒被拒绝的字节数
      failedFetchRequest 每秒拉取失败的请求数
      failedProduceRequest 每秒发送失败的请求数
    5. leader rebalance (手动均衡broker上的分区数据,通常是因为broker异常宕机,导致分区leader迁移,而分区leader负责数据读写操作,通过触发rebalance可以平衡broker上的leader分配)
    6. 迁移任务(如果数据量大,迁移任务建议放在空闲时间段)
      场景:已有的同集群中新增了一个Broker节点,此时需要将原来集群中已有的Topic的数据迁移部分到新的集群中,缓解集群压力。

    配置参数说明

    配置参数

    本地搭建kafka测试

    本地搭建zk
     
    10.10.10.10
    docker run -d --name zookeeper -p 2181:2181 -t -v /etc/localtime:/etc/localtime wurstmeister/zookeeper 
     
    本地搭建kafka集群
    docker run -d --name kafka1 --publish 9092:9092 --publish 9988:9988 --link zookeeper -v /etc/localtime:/etc/localtime --env KAFKA_BROKER_ID=1 \
    --env KAFKA_ZOOKEEPER_CONNECT=10.10.10.10:2181 \
    --env KAFKA_ADVERTISED_HOST_NAME=10.10.10.10 \
    --env KAFKA_ADVERTISED_PORT=9092 \
    --env JMX_PORT=9988 \
    wurstmeister/kafka:latest
     
    docker run -d --name kafka2 --publish 9093:9093 --publish 9989:9989 --link zookeeper -v /etc/localtime:/etc/localtime --env KAFKA_BROKER_ID=2 \
    --env KAFKA_ZOOKEEPER_CONNECT=10.10.10.10:2181 \
    --env KAFKA_ADVERTISED_HOST_NAME=10.10.10.10 \
    --env KAFKA_ADVERTISED_PORT=9093 \
    --env JMX_PORT=9989 \
    wurstmeister/kafka:latest
    
    docker run -d --name kafka3 --publish 9094:9094 --publish 9990:9990 --link zookeeper -v /etc/localtime:/etc/localtime  --env KAFKA_BROKER_ID=3 \
    --env KAFKA_ZOOKEEPER_CONNECT=10.10.10.10:2181 \
    --env KAFKA_ADVERTISED_HOST_NAME=10.10.10.10 \
    --env KAFKA_ADVERTISED_PORT=9094 \
    --env JMX_PORT=9990 \
    wurstmeister/kafka:latest
    
    创建个终端进行测试
    docker run --rm -it wurstmeister/kafka:latest bash
    kafka-console-producer.sh --broker-list 10.10.10.10:9092,10.10.10.10:9093,10.10.10.10:9094 --topic zzd-test1
    kafka-console-consumer  --bootstrap-server 10.10.10.10:9092,10.10.10.10:9093,10.10.10.10:9094 --from-beginning --topic zzd-test1
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
  • 相关阅读:
    【一起来学C++】————(11)STL之vector容器容器
    springboot充电桩综合管理系统
    CSGO饰品持续跌价,市场真的要崩盘了吗?
    发现区块链世界的新大门——AppBag.io DApp导航网站全面解析
    微信小程序开发系列(二十五)·wxml语法·条件渲染wx:if, wx:elif, wx:else 属性组以及hidden 属性的使用
    2.21 haas506 2.0开发教程 - TTS - Text To Speech (320开发板)
    Kotlin协程基础-CoroutineContext
    每日一题 1143最长公共子序列(LCS)(灵神版本)
    编写一个vscode的插件
    python中开发页面的两种方法:Qt Designer(PyQt图形化界面拖拽开发App界面)以及Django(开发Web应用框架)
  • 原文地址:https://blog.csdn.net/qq_16240085/article/details/125497172