Kafka為什麼效能這麼快？4大核心原因詳解

Kafka的效能快這是大廠Java面試經常問的一個話題，下面我就重點講解Kafka為什麼效能這麼快的4大核心原因@mikechen

1、頁快取技術

Kafka 是基於作業系統 的頁快取(page cache)來實現檔案寫入的，我們也可以稱之為 os cache，意思就是作業系統自己管理的快取。

Kafka 在寫入磁碟檔案的時候，可以直接寫入這個 os cache 裡，也就是僅僅寫入記憶體中，接下來由作業系統自己決定什麼時候把 os cache 裡的資料真的刷入磁碟檔案中。

通過這一個步驟，就可以將磁碟檔案寫效能提升很多了，因為其實這裡相當於是在寫記憶體，不是在寫磁碟，原理圖如下：

2、磁碟順序寫

另一個主要功能是 kafka 寫資料的時候，是以磁碟順序寫的方式來寫的，也就是說僅僅將資料追加到檔案的末尾，不是在檔案的隨機位置來修改資料。

為什麼要採用磁碟順序寫？

完成一次磁碟 IO，需要經過尋道、旋轉和資料傳輸三個步驟：

1. 尋道（時間）：磁頭移動定位到指定磁軌;
2. 旋轉延遲（時間）：等待指定磁區從磁頭下旋轉經過；
3. 資料傳輸（時間）：資料在磁碟、記憶體與網路之間的實際傳輸。

首先必須找到柱面，即磁頭需要移動對準相應磁軌，這個過程叫做尋道，所耗費時間叫做尋道時間，然後目標磁區旋轉到磁頭下,這個過程耗費的時間叫做旋轉時間。

怎麼樣才能提高磁碟的讀寫效率呢?

即採用磁碟順序寫，這樣就不需要尋道時間，只需很少的旋轉時間，將資料追加到檔案的末尾，不是在檔案的隨機位置來修改資料。

基於上面兩點，kafka 就實現了寫入資料的超高效能。

3、零拷貝

先來看看非零拷貝的情況，如下圖所示：

可以看到資料的拷貝從記憶體拷貝到 Kafka 服務程序那塊，又拷貝到 Socket 快取那塊，整個過程耗費的時間比較高。

Kafka 利用了 Linux 的 sendFile 技術（NIO），省去了程序切換和一次資料拷貝，讓效能變得更好，如下圖所示：

通過 零拷貝技術，就不需要把 os cache 裡的資料拷貝到應用快取，再從應用快取拷貝到 Socket 快取了，兩次拷貝都省略了，所以叫做零拷貝。

4、分割區分段+索引

Kafka 的 message 是按 topic分 類儲存的，topic 中的資料又是按照一個一個的 partition 即分割區儲存到不同 broker 節點。每個 partition 對應了作業系統上的一個資料夾，partition 實際上又是按照segment分段儲存的。

通過這種分割區分段的設計，Kafka 的 message 訊息實際上是分散式儲存在一個一個小的 segment 中的，每次檔案操作也是直接操作的 segment。為了進一步的查詢優化，Kafka 又預設為分段後的資料檔案建立了索引檔案，就是檔案系統上的.index檔案。這種分割區分段+索引的設計，不僅提升了資料讀取的效率，同時也提高了資料操作的並行度。

以上

作者簡介

陳睿|mikechen,10年+大廠架構經驗,《BAT架構技術500期》系列文章作者，分享十餘年BAT架構經驗以及面試心得!

閱讀mikechen的網際網路架構更多技術文章合集

Java並行|JVM|MySQL|Spring|Redis|分散式|高並行|架構師