• 3分钟了解Kfaka


    Kafka传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message

    Queue),主要应用于大数据实时处理领域。

    Kafka最新定义:Kafka是一个开源的分布式事件流平台(Event Streaming

    Platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

    发布/ 订阅:订阅:消息的发布者不会将消息直接发送给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息

    消息队列

    • 目前企业中比较常见的消息队列产品主要有 KafkaActiveMQRabbitMQ
      RocketMQ等。
    • 在大数据场景主要采用 Kafka 作为消息队列。在 JavaEE 开发中主要采用 ActiveMQ
      RabbitMQRocketMQ

    传统消息队列的应用场景

    • 传统的消息队列的主要应用场景包括: 缓存/ 消峰、 解耦和 异步通信。
    • 缓冲/ 消峰:有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况。
    • 解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。
    • 异步通信:允许用户把一个消息放入队列,但并不立即处理它,然后在需要的时候再去处理它们。

    消息队列的两种模式

    1.点对点模式

    消费者主动拉取数据,消息收到后清除消息

    2.发布/订阅模式

    • 可以有多个topic主题(浏览、点赞、收藏、评论等)
    • 消费者消费数据之后,不删除数据
    • 每个消费者相互独立,都可以消费到数据

    每个消费者相互独立,都可以消费到数据

    Kafka 的基础架构

    Kafka 基础架构图

    高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒;

    可扩展性:kafka集群支持热扩展;

    持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止丢失;

    容错性:允许集群中的节点失败(若分区副本数量为n,则允许n-1个节点失败);

    高并发:单机可支持数千个客户端同时读写;

    kafka的应用场景:

    日志收集:一个公司可以用Kafka收集各种服务的log,通过kafka以统一接口开放给各种消费端,例如hadoop、Hbase、Solr等。

    消息系统:解耦生产者和消费者、缓存消息等。

    用户活动跟踪:Kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索记录、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后订阅者通过订阅这些topic来做实时的监控分析,或者装载到hadoop、数据仓库中做离线分析和挖掘。

    运营指标:Kafka也经常用来记录运营监控数据。

  • 相关阅读:
    分布式链路追踪技术
    2024 CISCN WEB 部分wp
    ElasticSearch8 - SpringBoot整合ElasticSearch
    MyBatis中模糊查询LIKE的三种方式
    《大气压流注放电的二维PIC/MCC模拟研究》听讲笔记
    大模型会毁了初级程序员 —— 对话图灵奖得主 Joseph Sifakis | 新程序员
    做短视频素材哪里找?这10个自媒体素材网站分享给你
    如何生成osg的动画路径文件
    c++学习---类和对象
    代码随想录算法训练营第五十六天 | 动态规划 part 14 | 1143.最长公共子序列、1035.不相交的线、53. 最大子序和(dp)
  • 原文地址:https://blog.csdn.net/m0_66194642/article/details/127427908