前言

分散式，是程式設計師必備技能之一，在面試過程中屬於必備類的，在工作中更是會經常用到。而Kafka是一個分散式的基於釋出訂閱的訊息佇列，目前它的魅力是無窮的，對於Kafka的奧祕，還需要我們細細去探尋。

要談對Kafka有多熟悉，我相信還是阿里的大佬們最有發言權，所以今天分享的內容，就是Alibaba內部供應的「限量筆記」，關於Kafka的精髓全部寫在這裡面了，不得不感嘆：不愧是Alibaba的技術官啊，真的服了！

關於這份Kafka限量筆記，我只能在文章中展示部分的章節內容和核心截圖，如果你需要完整的pdf版本，可以在文末免費領取哦。

 

一、對Kafka的認識

1.Kafka的基本概念

 

2.安裝與設定

 

3.生產與消費

 

4.伺服器端引數設定

 

二、生產者

1.使用者端開發

• 必要的引數設定
• 訊息的傳送
• 序列化
• 分割區器
• 生產者攔截器

 

2.原理分析

• 整體架構
• 後設資料的更新

 

3.重要的生產者引數

 

三、消費者

1.消費者與消費組

 

2.使用者端開發

• 必要的引數設定
• 訂閱主題與分割區
• 反序列化
• 訊息消費
• 位移提交
• 控制或關閉消費
• 指定位移消費
• 再均衡
• 消費者攔截器
• 多執行緒實現
• 重要的消費者引數

 

四、主題與分割區

1.主題的管理

• 建立主題
• 分割區副本的分配
• 檢視主題
• 修改主題
• 設定管理
• 主題端引數
• 刪除主題

 

2.初識KafkaAdminCilent

• 基本使用
• 主題合法性驗證

 

3.分割區的管理

• 優先副本的選舉
• 分割區重分配
• 複製限流
• 修改副本因子

 

4.如何選擇合適的分割區數

• 效能測試工具
• 分割區數越多吞吐量就越高嗎
• 分割區數的上限
• 考量因素

 

五、紀錄檔儲存

1.檔案目錄佈局

 

2.紀錄檔格式的演變

• v0版本
• v1版本
• 訊息壓縮
• 變長欄位
• v2版本

 

3.紀錄檔索引

• 偏移量索引
• 時間戳索引

 

4.紀錄檔清理

• 紀錄檔刪除
• 紀錄檔壓縮

 

5.磁碟儲存

• 頁快取
• 磁碟I/O流程
• 零拷貝

 

六、深入伺服器端

1.協定設計

 

2.時間輪

 

3.延時操作

 

4.控制器

 

5.引數解密

 

七、深入使用者端

1.分割區分配策略

 

2.消費者協調器和組協調器

 

3._consumer_offsets剖析

 

4.事務

 

八、可靠性探究

1.副本剖析

 

2.紀錄檔同步機制

 

3.可靠性分析

 

九、Kafka應用

1.命令列工具

 

2.Kafka Connect

 

3.Kafka Mirror Maker

 

4.Kafka Streams

 

十、Kafka監控

1.監控資料的來源

 

2.消費滯後

 

3.同步失效分割區

 

4.監控指標說明

 

5.監控模組

 

十一、高階應用

1.過期時間(TTL)

 

2.延時佇列

 

3.死信佇列和重試佇列

 

4.訊息路由

 

5.訊息軌跡

 

6.訊息審計

 

7.訊息代理

 

8.訊息中介軟體選型

 

十二、Kafka與Spark的整合

1.Spark的安裝及簡單應用

 

2.Spark程式設計模型

 

3.Spark的執行結構

 

4.Spark Streaming簡介

 

5.Kafka與Spark Streaming的整合

 

6.Spark SQL

 

7.Structured Streaming

 

8.Kafka與Structured Streaming的整合

 

總結

我們總是喜歡瞻仰大廠的大神們，但實際上大神也不過凡人，與菜鳥程式設計師相比，也就多花了幾分心思，如果你再不努力，差距也只會越來越大。實際上，作為程式設計師，豐富自己的知識儲備，提升自己的知識深度和廣度是很有必要的，在我看來，自己付出多少，回報就有多少。

Kafka的學習，並沒有想象中那麼難，這份Kafka限量筆記裡面的內容，對你學習Kafka必有啟發和幫助。如果你需要這份完整版的Kafka筆記，只需你多多支援我這篇文章