Kafka監控必備——Kafka-Eagle 2.0.2正式發布
對於經常使用Kafka的同學，擁有一個炫酷又實用的監控系統是非常有必要的。可以實時的監控數據流的情況，了解實時數據流的變化。
Kafka Eagle
Kafka Eagle是一個監控系統，監控Kafka群集以及偏移量，消費者等等。
通過Kafka Eagle可以看到當前的消費者組，對於每個組，他們正在使用的主題以及該組在每個主題中的偏移量，消費積壓等等。這對於了解消息隊列消費的速度以及消息隊列消息寫入的速度非常的有用。可以幫助我們調試Kafka生產者和消費者，也可以對Kafka系統的整體運作情況有一個宏觀的認識。
支援的Kafka版本：0.8.2.x，0.9.x，0.10.x，0.11.x，1.x，2.x
支援的系統：Mac OS X，Linux，Windows
JDK： JDK8+
自從Kafka Eagle開源以來，也得到了迅速的發展，目前GitHub的Star已經突破1.5K
下面我們來了解一下Kafka Eagle的核心功能。
功能展示
大屏支援
炫酷的大屏展示，生產者消費者情況，消息積壓情況。
報警支援
自定義報警閾值，觸發報警
報警消息情況
除了支援email警報外，Kafka Eagle還支援即時消息警報，例如DingDing和WeChat。
消費者組列表和活動圖
消費者組的情況
主題列表明細
每個主題的具體情況
消費者與生產者圖表
特色功能
偏移量
Kafka的偏移量存儲位置發生過變化，這一直是監控的一大難題。
- Kafka0.8.2之前的版本，偏移量存儲於Zookeeper中。
- 0.10.0以後的Kafka版本默認建議在Kafka主題（__consumer_offsets）中。
這兩種Kafka Eagle都支援，Kafka Eagle支援多個偏移量存儲路徑。如果將它們存儲在Zookeeper和Kafka中，則可以像這樣配置它們。
# Set kafka cluster alias
kafka.eagle.zk.cluster.alias=cluster1,cluster2
# Set kafka cluster zookeeper address
cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181
cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
# Set kafka cluster offset storage path
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zookeeper
Kafka SQL
可以使用SQL語法查詢Kafka消息
select * from ke_p3_r2 where `partition` in (0,1,2) limit 10
更多Flink，Kafka等實時大數據分析相關技術博文，科技資訊，歡迎關注實時流式計算 公眾號後台回復 「電子書」 下載300頁Flink實戰電子書
