简介

Kafka Producer 的架构与消息发送流程,梳理主线程、RecordAccumulator 和 Sender 线程之间的协作。

Producer架构

主要架构示意图

image-20261013152811897

批量发送

主线程调用send 在RecordAccumulator积累消息,sender线程检查RecordAccumulator然后批量发送

消息监控

使用拦截器

感知元数据

topic的Partition数量

Partition存储位置

序列化

支持多种序列化协议和自定义协议

分区分配策略

决定消息发往哪个Partition

NIO

Sender使用NIO构造发送请求,满足高吞吐率

主线程Send处理流程

ProducerInterceptors

onSend: 主线程调用send后被调用

onAcknowledge:sender线程收到服务端确认被调用

感知元数据

请求远程元数据后缓存在本地

如何保证如远程本地一致性

本地缓存有过期策略 metadata.max.age.ms

如果两次查询都相同,那么延期过期时间

如果查询失败,那么延期再次查询的时间

Record分区分配

  1. 是否指定消息的 partition
  2. 是否实现Partitioner接口自定义策略
  3. 是否有key,相同的key会hash到同一个partition
  4. 默认策略
    1. Round-Robin
    2. 批次粒度 Round-Robin

RecordAccumulator

数据结构

┌──────────────────────────────────────────────────────────────┐
│                      RecordAccumulator                       │
├──────────────────────────────────────────────────────────────┤
│                                                              │
│  - free : BufferPool                                         │
│                                                              │
│  - topicInfoMap : Map<String, TopicInfo>                     │
│                                                              │
└──────────────────────────────────────────────────────────────┘

free

维护ByteBuffer列表,积攒消息,buffer.memory指定大小 ,作为下面 ProducerBatch 提供内存池空间

topicInfoMap

各个topic下积攒的待发送消息, ProducerBatch是消息批次,以Partition维度 积攒消息批次

image-20261013154020809

压缩

compression.type

  • none
  • gzip:效率最高,消耗最高
  • snappy:适中
  • lz4:效率低,消耗最低
  • zstd:适中

核心方法

append

追加消息

ready

从topicInfoMap检查待发送的消息批次,统计这些消息批次应存储于哪些broker,得到一个待发送消息的broker集合

判断标准:

  1. 消息批次是否被填满 (batch.size)
  2. 一个批次的消息批次滞留的时长 (linger.ms)

drain

根据目标 broker 查询有哪些partition和tpoic,然后根据这些去topicInfoMap取得消息批次,随后交给sender 构造 ProduceRequest

Sender逻辑

sender的runOnce流程

┌──────────────────────────────────────────────┐
│                Sender Thread                 │
└──────────────────────┬───────────────────────┘
                       │
                       ▼
                RecordAccumulator
                       │
                       │ ready()
                       ▼
             哪些 Node 当前可以发送
                       │
                       ▼
                    drain()
                       │
                       ▼
             Map<Node, ProducerBatch>
                       │
                       ▼
              构造 ProduceRequest
                       │
                       ▼
                NetworkClient.send()
                       │
                       ▼
                  client.poll()
                       │
          ┌────────────┼────────────┐
          ▼            ▼            ▼
       收到响应      连接失败       超时
          │            │            │
          ▼            ▼            ▼
      completeBatch   retry      fail / retry
          │
          └────────────┴────────────┘
                       │
                       ▼
                    下一轮

请求构造

MetadataRequest

元素据查询

SYN

与broker建立连接

ProduceRequest

消息推送

回调定义

对于上述各种请求,收到响应都会调用对应的回调函数

poll

每次循环都会调用client.poll(),将请求队列的请求发出,同时读取收到的响应以及其他事件

  • 连接建立
  • 连接断开
  • 请求发送
  • 响应读取
  • 超时请求
  • metadata 请求