简介
Kafka Producer 的架构与消息发送流程,梳理主线程、RecordAccumulator 和 Sender 线程之间的协作。
Producer架构
主要架构示意图

批量发送
主线程调用send 在RecordAccumulator积累消息,sender线程检查RecordAccumulator然后批量发送
消息监控
使用拦截器
感知元数据
topic的Partition数量
Partition存储位置
序列化
支持多种序列化协议和自定义协议
分区分配策略
决定消息发往哪个Partition
NIO
Sender使用NIO构造发送请求,满足高吞吐率
主线程Send处理流程
ProducerInterceptors
onSend: 主线程调用send后被调用
onAcknowledge:sender线程收到服务端确认被调用
感知元数据
请求远程元数据后缓存在本地
如何保证如远程本地一致性
本地缓存有过期策略 metadata.max.age.ms
如果两次查询都相同,那么延期过期时间
如果查询失败,那么延期再次查询的时间
Record分区分配
- 是否指定消息的 partition
- 是否实现Partitioner接口自定义策略
- 是否有key,相同的key会hash到同一个partition
- 默认策略
- Round-Robin
- 批次粒度 Round-Robin
RecordAccumulator
数据结构
┌──────────────────────────────────────────────────────────────┐
│ RecordAccumulator │
├──────────────────────────────────────────────────────────────┤
│ │
│ - free : BufferPool │
│ │
│ - topicInfoMap : Map<String, TopicInfo> │
│ │
└──────────────────────────────────────────────────────────────┘
free
维护ByteBuffer列表,积攒消息,buffer.memory指定大小 ,作为下面 ProducerBatch 提供内存池空间
topicInfoMap
各个topic下积攒的待发送消息, ProducerBatch是消息批次,以Partition维度 积攒消息批次

压缩
compression.type
- none
- gzip:效率最高,消耗最高
- snappy:适中
- lz4:效率低,消耗最低
- zstd:适中
核心方法
append
追加消息
ready
从topicInfoMap检查待发送的消息批次,统计这些消息批次应存储于哪些broker,得到一个待发送消息的broker集合
判断标准:
- 消息批次是否被填满 (batch.size)
- 一个批次的消息批次滞留的时长 (linger.ms)
drain
根据目标 broker 查询有哪些partition和tpoic,然后根据这些去topicInfoMap取得消息批次,随后交给sender 构造 ProduceRequest
Sender逻辑
sender的runOnce流程
┌──────────────────────────────────────────────┐
│ Sender Thread │
└──────────────────────┬───────────────────────┘
│
▼
RecordAccumulator
│
│ ready()
▼
哪些 Node 当前可以发送
│
▼
drain()
│
▼
Map<Node, ProducerBatch>
│
▼
构造 ProduceRequest
│
▼
NetworkClient.send()
│
▼
client.poll()
│
┌────────────┼────────────┐
▼ ▼ ▼
收到响应 连接失败 超时
│ │ │
▼ ▼ ▼
completeBatch retry fail / retry
│
└────────────┴────────────┘
│
▼
下一轮
请求构造
MetadataRequest
元素据查询
SYN
与broker建立连接
ProduceRequest
消息推送
回调定义
对于上述各种请求,收到响应都会调用对应的回调函数
poll
每次循环都会调用client.poll(),将请求队列的请求发出,同时读取收到的响应以及其他事件
- 连接建立
- 连接断开
- 请求发送
- 响应读取
- 超时请求
- metadata 请求