spring-boot-route（十四）整合Kafka

2020 年 10 月 13 日
筆記
spring-boot-route

在上一章中SpringBoot整合RabbitMQ，已經詳細介紹了消息隊列的作用，這一種我們直接來學習SpringBoot如何整合kafka發送消息。

kafka簡介

kafka是用Scala和Java語言開發的，高吞吐量的分散式消息中間件。高吞吐量使它在大數據領域具有天然的優勢，被廣泛用來記錄日誌。

kafka架構分析

注1：圖中的紅色箭頭表示消息的流動過程，藍色表示分區備份，綠色表示kafka集群註冊到zookeeper。

注2：在kafka0.9版本之前，消費者消費消息的位置記錄在zookeeper中，在0.9版本之後，消費消息的位置記錄在kafka的一個topic上。

kafka名詞簡介：

Producer：消息生產者
Consumer：消息消費者
Consumer Group（CG）：消費者組，一個topic可以有多個CG，每個Partition只會把消息發送給GG中的一個Consumer
Broker：一台kafka伺服器就是一個broker，一個broker有多個topic
Topic：消息主題，消息分類，可看作隊列
Partition：分區，為了實現擴展，一個大的topic可能分布到多個broker上，一個topic可以分為多個partition，partition中的每條消息都會被分配一個有序的id（offset），每個partiton中的消息是有序的。
Offset：kafka的存儲文件都是按照offset.kafka來命名的，方便查找，第一個offset為0000000000.kafka。
Leader：分區具有被備份，主分區
Follower：從分區

1. 生產者分區策略

指定分區。
沒有指定分區但有key值，將key的hash值與當前topic的分區個數進行取余得到分區。
如果既沒有指定分區又沒有指定key，第一次調用時隨機生成一個整數（以後調用每次在這個整數上自增），將這個隨機數與該topic的分區數取余得到分區。

2. 消息可靠性問題

採用ack確認機制來保證消息的可靠性。

kafka在發送消息後會同步到其他分區副本，等所有副本都接收到消息後，kafka才會發送ack進行確認。採用這種模式的劣勢就是當其中一個副本宕機後，則消息生產者就不會收到kafka的ack。

kafka採用ISR來解決這個問題。

ISR：Leader維護的一個和leader保持同步的follower集合。

當ISR中的folower完成數據同步之後，leader就會向follower發送ack，如果follower長時間未向leader同步數據，則該follower就會被踢出ISR，該時間閥值的設置參數為replica.lag.time.max.ms，默認時間為10s，leader發生故障後，就會從ISR中選舉新的leader。

註：本文所講的kafka版本為0.11，在0.9版本以前成為ISR還有一個條件，就是同步消息的條數。

ack參數配置

0：生產者不等待broker的ack。

1：leader分區接收到消息向生產者發送ack。

-1（all）：ISR中的leader和follower同步成功後，向生產者發送ack。

3. 消息一致性問題

假如leader中有10條消息，向兩個follower同步數據，follower A同步了8條，follower B同步了9條。這時候leader宕機了，follower A和follower B中的消息是不一致的，剩下兩個follower就會重新選舉出一個leader。

LEO（log end offset）：每個副本的最後一個offset
HW（high watermark）：所有副本中最小的offset

為了保證數據的一致性，所有的follower會將各自的log文件高出HW的部分截掉，然後再從新的leader中同步數據。

4. 消息重複性問題

在kafka0.11版本中引入了一個新特性：冪等性。啟用冪等性後，ack默認為-1。將生產者中的enable.idompotence設置為true，即啟用了冪等性。

開啟冪等性的Producer在初始化的時候會被分配一個PID，發往同一Partition的消息會附帶Sequence Number。Broker端會對<PID,Partition,SeqNumber>做快取，當具有相同主鍵的消息提交時，Broker只會快取一條。但是每次重啟PID就會發生變化，因此只能保證一次會話同一分區的消息不重複。

5. 消費者組分區分配策略

kafka有兩種分配策略，一種是RoundRobin，另一種是Range

RoundRobin是按照消費者組以輪詢的方式去給消費者分配分區的方式，前提條件是消費者組中的消費者需要訂閱同一個topic。

Range是kafka默認的分配策略，它是通過當前的topic按照一定範圍來分配的，假如有3個分區，消費者組有兩個消費者，則消費者A去消費1和2分區，消費者B去消費3分區。

6. 消費者offset維護

Kafka 0.9 版本之前，consumer默認將offset保存在zookeeper中，0.9 版本開始，offset保存在kafka的一個內置topic中，該topic為_consumer_offsets。

7. 生產者事務

為了實現跨分區會話的事務，需要引入一個全局唯一的Tracscation ID，並將Producer 獲得的PID與之綁定。這樣當Producer重啟後就可以通過正在進行的Transaction ID獲得原來的PID。

為了管理Transcation ID，kafka引入了一個新的組件Transcation Coordinator。Producer就是通過和Transcation Coordinator交互獲得Transction ID對應的任務狀態。

Spring Boot 整合kafka

1. 引入kafka依賴

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

2. 配置kafka服務資訊

spring:
  kafka:
    # kafka服務地址
    bootstrap-servers: 47.104.155.182:9092
    producer:
      # 生產者消息key序列化方式
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      # 生產者消息value序列化方式
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      # 消費者組
      group-id: test-consumer-group
      # 消費者消息value反序列化方式
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      # 消費者消息value反序列化方式
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

3. 消費者

@Component
@Slf4j
@KafkaListener(topics = {"first-topic"},groupId = "test-consumer-group")
public class Consumer {

    @KafkaHandler
    public void receive(String message){
        
        log.info("我是消費者，我接收到的消息是："+message);
    }
}

4. 生產者

@RestController
public class Producer {

    @Autowired
    private KafkaTemplate kafkaTemplate;

    @GetMapping("send")
    public void send(){

        String message = "你好，我是Java旅途";
        // 第一個參數 topic
        // 第二個參數 消息
        kafkaTemplate.send("first-topic",message);
    }
}

此是spring-boot-route系列的第十四篇文章，這個系列的文章都比較簡單，主要目的就是為了幫助初次接觸Spring Boot 的同學有一個系統的認識。本文已收錄至我的github，歡迎各位小夥伴star！

github：//github.com/binzh303/spring-boot-route

點關注、不迷路

如果覺得文章不錯，歡迎關注、點贊、收藏，你們的支援是我創作的動力，感謝大家。

如果文章寫的有問題，請不要吝嗇，歡迎留言指出，我會及時核查修改。

如果你還想更加深入的了解我，可以微信搜索「Java旅途」進行關注。回復「1024」即可獲得學習影片及精美電子書。每天7:30準時推送技術文章，讓你的上班路不在孤獨，而且每月還有送書活動，助你提升硬實力！

Tags: spring-boot-route