有关Kafka的那些事
- 2020 年 9 月 25 日
- 筆記
Kafka基本概念
- Producer: 消息和数据的生产者，向kafka的一个topic发布消息的进程、代码、服务。
- Consumer:消息和数据的消费者，订阅数据并且处理器发布的消息的进程、代码、服务。
- Consumer Group:逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息。
- Broker：物理概念，kafka集群中每个kafka节点
- topic：逻辑概念，kafka消息的类别，对数据进行区分，隔离
- Partition：分区，物理概念，kafka下数据存储的基本单元，一个topic数据，会被分散存储到多个Partition，每一个Partition是有序的。
1. 每一个Topic被切分为多个Partitions
2. 消费者数目小于或等于Partition的数目
3. Broke Group中的每个Broke保存Topic的一个或多个Partitions
4. Consumer Group中有且仅有一个Consumer读取Topic的一个或多个Partitions，并且是唯一的Consumer。 - Replication：副本，同一个Partition可能会有多个Replica，多个Replica之间数据是一样的。
1. 当集群中有Broker挂掉的情况，系统可以主动使Replicas提供服务。
2. 系统默认设置每一个Topic的Replication系数为1，可以在创建Topic时单独设置。
3. Replication的基本单位是Topic的Partition。
4. 所有的读和写都是Leader进，Followers只是作为备份。
5. Follower必须能够及时复制Leader的数据。
6. 增加容错性和可拓展性。 - Replication Leader：一个Partition的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互，一个Partition有且只有一个Leader。
- RepliceManager：负责管理当前broker的所有分区和副本的信息，处理kafkaController发起的一些请求，副本状态的切换、添加/读取消息等
kafka基本结构
kafka消息结构：
kafka的特点
分布式
- 多分区
- 多副本
- 多订阅者
- 基于ZooKeeper调度
高性能
- 高吞吐量
- 低延时
- 高并发
- 时间复杂度为O(1)
持久性和拓展性
- 数据可持久化
- 容错性
- 支持在线水平拓展
- 消息自动平衡
kafka应用场景
- 消息队列
稳定性，高吞吐性，消息可被重复消费、低延迟性 - 行为跟踪
- 元数据监控
- 日志收集
- 流处理
- 事件源
- 持久性日志(commit log)
kafka高级特性
kafka消息事务
- 为什么要支持事务？
- 满足”读取-处理-写入”模式
- 流处理需求的不断增强
- 数据传输的事务定义
- 最多一次：消息不会别重复发送，最多被传输一次，但也有可能一次不传输
- 最少一次：消息不会被漏发送，最少被传输一次，但也有可能被重复传输
- 精确的一次(Exactly once)：不会漏传输也不会重复传输，每个消息都传输且仅仅传输一次，这是大家所期望的
- 事务保证
- 内部重试问题：Producer幂等处理
- 多分区原子写入
- 避免僵尸实例
零拷贝
- 网络传输持久性日志块
- Java Nio channel.transforTo()方法
- Linux sendfile系统调用
文件传输到网络的公共数据路径
1. 操作系统将数据从磁盘读入到内核空间的页缓存
2. 应用程序将数据从内核空间读入到用户空间缓存中
3. 应用程序将数据写回到内核空间到socket缓存中
4. 操作系统将数据从socket缓存区复制到网卡缓存区，以便将数据经网络发出
零拷贝过程：
1. 操作系统将数据从磁盘读入到内核空间的页缓存
2. 将数据的位置和长度等信息的描述符增加至内核空间(socket缓冲区)
3. 操作系统将数据从内核拷贝到网卡缓冲区，以便将数据经网络发出
零拷贝指的是内核空间和用户空间之间的交互拷贝次数为零
