每年雙11，天貓成交額都會一次一次地重新整理世界紀錄，阿里巴巴核心系統100%上雲，撐住了雙11的世界級流量洪峰。在這一流量戰場上，阿里可謂是華山論劍的最大贏家。今天我把阿里針對淘寶雙十一萬億級流量下的分散式快取檔案共用出來，全面解析阿里雙11的武功祕籍。

阿里雙十一的四種應用場景

MDB 典型應用場景

1. 用於快取，降低對後端資料庫的存取壓力。
2. 臨時資料儲存，部分資料丟失不會對業務產生較大影響。
3. 讀多寫少，讀qps達到萬級別以上。

FastDump 典型應用場景

1. 週期性地將離線資料快速地匯入到Tair叢集中，快速使用到新的資料。
2. 讀取低延遲，不能有毛刺。

LDB 典型應用場景

1. 通用kv儲存，交易快照，安全風控等。
2. 儲存黑白單資料，讀qps很高。
3. 計數器功能，更新非常頻繁，且資料不可丟失。

RDB 典型應用場景

1. 複雜的資料結構的快取與儲存。
2. 如播放列表，直播間等。

 

雙十一技術挑戰

• 存取峰值增速：Tair峰值 > 交易峰值 > 總GMV
• 多地域多單元
• 體驗與成本
• 穩定性，高可用

 

效能與成本

記憶體資料結構

1. cache meta
2. slab_mabager
3. hashmap
4. pages

 

鎖的影響

• 細粒度鎖(fine-grained locks）
• 無鎖資料結構（lock-free data structures）
• CPU本地資料結構（per-CPU data structures)
• 讀拷貝更新（RCU)

 

使用者態協定棧+記憶體合併

 

使用者端優化

• 網路框架替換，適配協程mina =netty吞吐量提升40%+
• 序列化優化整合kryo和hessian吞吐量提升16%+

 

記憶體網格

• 業務場景讀寫量超大大量本地計算提供高效能運算快速IO能 力
• 特性資料本地性讀穿透Write Through / Write Behind/merge多單元replication
• 效果讀取降至27.68%寫入降至55.75%

 

快取難題——熱點

快取擊穿

• 突發流量熱門商品，店鋪時事新聞各類壓測
• 快取被擊穿限流
• 結局全系統崩潰
• 根源存取熱點

 

熱點雜湊

• 熱點型別頻率熱點流量熱點

 

熱點雜湊效果

• 熱點QPS數
• 熱點流量
• 熱點叢集雜湊效果對比

 

寫熱點

• 熱點合併實時識別合併寫引擎

 

阿里巴巴的這個雙十一萬億流量分散式快取，完整呈現如何設計響應億級請求。

教你如何構建高並行、大流量系統方能經受起億級線上使用者流量的真實考驗。

由於頭條發文圖片品質可能會受到影響（圖片會被壓縮導致清晰度下降），完整版的阿里雙十一萬億流量分散式快取設計，我在這裡做一個開源式的分享，用以幫助到更多想從大廠技術層面徹底提升自身硬實力的網際網路從業者。