Kafka為什麼性能這麼快？4大核心原因詳解
- 2022 年 9 月 20 日
- 筆記
- 大廠架構面試乾貨合集
Kafka的性能快這是大廠Java面試經常問的一個話題，下面我就重點講解Kafka為什麼性能這麼快的4大核心原因@mikechen
1、頁快取技術
Kafka 是基於作業系統 的頁快取(page cache)來實現文件寫入的，我們也可以稱之為 os cache，意思就是作業系統自己管理的快取。
Kafka 在寫入磁碟文件的時候，可以直接寫入這個 os cache 里，也就是僅僅寫入記憶體中，接下來由作業系統自己決定什麼時候把 os cache 里的數據真的刷入磁碟文件中。
通過這一個步驟，就可以將磁碟文件寫性能提升很多了，因為其實這裡相當於是在寫記憶體，不是在寫磁碟，原理圖如下：
2、磁碟順序寫
另一個主要功能是 kafka 寫數據的時候，是以磁碟順序寫的方式來寫的，也就是說僅僅將數據追加到文件的末尾，不是在文件的隨機位置來修改數據。
為什麼要採用磁碟順序寫？
完成一次磁碟 IO，需要經過尋道、旋轉和數據傳輸三個步驟：
- 尋道（時間）：磁頭移動定位到指定磁軌;
- 旋轉延遲（時間）：等待指定扇區從磁頭下旋轉經過；
- 數據傳輸（時間）：數據在磁碟、記憶體與網路之間的實際傳輸。
首先必須找到柱面，即磁頭需要移動對準相應磁軌，這個過程叫做尋道，所耗費時間叫做尋道時間，然後目標扇區旋轉到磁頭下,這個過程耗費的時間叫做旋轉時間。
怎麼樣才能提高磁碟的讀寫效率呢?
即採用磁碟順序寫，這樣就不需要尋道時間，只需很少的旋轉時間，將數據追加到文件的末尾，不是在文件的隨機位置來修改數據。
基於上面兩點，kafka 就實現了寫入數據的超高性能。
3、零拷貝
先來看看非零拷貝的情況，如下圖所示：
可以看到數據的拷貝從記憶體拷貝到 Kafka 服務進程那塊，又拷貝到 Socket 快取那塊，整個過程耗費的時間比較高。
Kafka 利用了 Linux 的 sendFile 技術（NIO），省去了進程切換和一次數據拷貝，讓性能變得更好，如下圖所示：
通過 零拷貝技術，就不需要把 os cache 里的數據拷貝到應用快取，再從應用快取拷貝到 Socket 快取了，兩次拷貝都省略了，所以叫做零拷貝。
4、分區分段+索引
Kafka 的 message 是按 topic分 類存儲的，topic 中的數據又是按照一個一個的 partition 即分區存儲到不同 broker 節點。每個 partition 對應了作業系統上的一個文件夾，partition 實際上又是按照segment分段存儲的。
通過這種分區分段的設計，Kafka 的 message 消息實際上是分散式存儲在一個一個小的 segment 中的，每次文件操作也是直接操作的 segment。為了進一步的查詢優化，Kafka 又默認為分段後的數據文件建立了索引文件，就是文件系統上的.index文件。這種分區分段+索引的設計，不僅提升了數據讀取的效率，同時也提高了數據操作的並行度。
以上
作者簡介
陳睿|mikechen,10年+大廠架構經驗,《BAT架構技術500期》系列文章作者，分享十餘年BAT架構經驗以及面試心得!
閱讀mikechen的互聯網架構更多技術文章合集
Java並發|JVM|MySQL|Spring|Redis|分散式|高並發|架構師
