Kafka常見錯誤整理（不斷更新中）
- 2019 年 10 月 10 日
- 筆記
1、UnknownTopicOrPartitionException
org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition
報錯內容：分區數據不在
原因分析：producer向不存在的topic發送消息，用戶可以檢查topic是否存在 或者設置auto.create.topics.enable參數
2、LEADER_NOT_AVAILABLE
WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient
報錯內容：leader不可用
原因分析：原因很多 topic正在被刪除 正在進行leader選舉 使用kafka-topics腳本檢查leader資訊
進而檢查broker的存活情況 嘗試重啟解決
3、NotLeaderForPartitionException
org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition
報錯內容：broker已經不是對應分區的leader了
原因分析：發生在leader變更時 當leader從一個broker切換到另一個broker時，要分析什麼原因引起了leader的切換
4、TimeoutException
org.apache.kafka.common.errors.TimeoutException: Expiring 5 record(s) for test-0: 30040 ms has passe
報錯內容：請求超時
原因分析：觀察哪裡拋出的 觀察網路是否能通 如果可以通 可以考慮增加request.timeout.ms的值
5、RecordTooLargeException
WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.apache.kafka.common.errors.RecordTooLargeException
報錯內容：消息過大
原因分析：生產者端 消息處理不過來了 可以增加 request.timeout.ms 減少 batch.size
6、Closing socket connection
Closing socket connection to/127,0,0,1.(kafka.network.Processor)
報錯內容：連接關閉
原因分析：如果javaApi producer版本高，想在客戶端consumer啟動低版本驗證，會不停的報錯
無法識別客戶端消息。
7、ConcurrentModificationException
java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access
報錯內容：執行緒不安全
原因分析：Kafka consumer是非執行緒安全的
8、NetWorkException
[kafka-producer-network-thread | producer-1] o.apache.kafka.common.network.Selector : [Producer clientId=producer-1] Connection with / disconnected
報錯內容：網路異常
原因分析：網路連接中斷 檢查broker的網路情況
9、ILLEGAL_GENERATION
ILLEGAL_GENERATION occurred while committing offsets for group
報錯內容：無效的「代」
原因分析：consumer錯過了 rebalance 原因是consumer花了大量時間處理數據。
需要適當減少 max.poll.records值 增加 max.poll.interval.ms 或者想辦法增加消息處理的速度
未完待續~~~
更多實時計算,Flink,Kafka等相關技術博文，歡迎關注實時流式計算
