百度雲原生資料庫GaiaDB的HTAP與多地多活技術實踐

摘要：雲原生資料庫在使用存算分離技術後，可以在完全相容MYSQL協定和語法的情況下，極大提升單範例所能承載的資料規模與吞吐能力上限。但除了對使用者端相容外，對整個資料生態（地域容災，資料分析，備份恢復）的適配同樣需要大量的設計優化工作。本次分享GaiaDB在跨地域/異構資料同步場景下，吞吐/實時性/一致性方面能力打造與實踐經驗。

在2023雲資料庫技術沙龍 「MySQL x ClickHouse」 專場上，百度資料庫資深技術專家邱學達，為大家分享一下《百度雲原生資料庫GaiaDB的HTAP與多地多活技術實踐》的一些技術內容。

 

邱學達，百度資料庫資深技術專家，主要負責分散式架構設計與資料庫核心特性設計和開發。多年資料庫與分散式儲存開發經驗，專注於分散式高可用+高可靠架構設計與雲原生化改造。在分散式效能優化、端到端可用性提升方面具有豐富經驗

本文內容根據演講錄音以及PPT整理而成。

大家好，今天我想和大家分享的內容是百度雲原生資料庫GaiaDB在資料分析場景與多地多活方面的一些實踐經驗。

 

GaiaDB是百度智慧雲研發的一款雲原生資料庫，目前已經在雲上獲得了廣泛的應用，承載了多個高吞吐/超大容量業務，特別是幫助很多業務在0改造成本下，實現了服務多地域多活，在每個地域都可以實現接近原生的低延遲讀取能力。在巨量資料量承載方面，多個線上百TB以上業務實踐證明，GaiaDB在這種規模下依然具備良好的吞吐與彈效能力。

 

下面我來介紹一下GaiaDB的整體架構。

首先是接入層 ，接入層主要用來提供自動讀寫分離/流量控制/SQL防火牆/鑑權與負載均衡等功能，業務無需維護複雜的讀寫分離/連線池邏輯，直接使用proxy即可享受豐富的接入管理功能。對於有讀寫一致性要求的業務，還可以選擇使用主從一致性或全域性強一致等多種一致性級別，解決傳統架構寫後讀不可見導致的多種複雜相容問題。

再往下是計算層，計算層依然是多個計算節點互相負載均衡的架構。對於讀場景已經實現了無狀態的橫向與縱向彈性伸縮，可以實現秒級擴縮容，方便應對線上各種活動流量與突發尖峰。對於寫場景，預設仍提供基於縱向擴充套件的彈性伸縮能力，可以滿足線上大部分業務的寫吞吐需求。

對於寫能力的橫向擴充套件，我們也做了大量的技術儲備，寫的擴充套件能力主要取決於請求的衝突情況；在完全無衝突的負載下，樂觀事務可以提供近似線性的寫擴充套件能力，但是大部分的交易類負載都是存在衝突的，在這種情況下樂觀事務模型的使用體驗就會變得不易接受；對於目前主流的悲觀事務模型來講，解決衝突主要使用鎖機制實現，橫向寫擴充套件引入的跨節點鎖協商會帶來較高的事務延遲與吞吐瓶頸，目前在工程上還是非常具有挑戰性的。當前對於寫的橫向擴充套件我們更多的是結合業務特點進行專屬方案客製化，實現業務上的整體最優解。

接下來是儲存層的架構設計，對於分散式儲存系統來講，核心就是資料分割區演演算法與資料引擎設計。資料分割區演演算法的核心在於如何在儘量降低對映獲取時延的同時，將記憶體消耗控制在可接受的範圍內，同時又儘量避免資料的大規模搬運。對於實時性要求越高的系統，分割區演演算法的設計應該層級越少、規則越簡單，避免引入過多的切換消耗。而資料引擎的設計優化方向則集中在Base資料的讀取優化以及增量資料（WAL）的可靠性/一致性保證上。

GaiaDB的儲存引擎在設計上將Base資料與增量更新分離到了兩個子系統中，即儲存子系統和紀錄檔子系統，避免了紀錄檔流與資料流的IO爭搶導致各類效能問題，儲存子系統可以向極致讀效能方向優化，將讀IO優先順序設為最高，寫則可以使用非同步落盤+記憶體動態回放技術降低對磁碟佔用；紀錄檔子系統向極致寫效能方向優化，使用視窗技術+增量引擎，將寫能力優化至極致水平，讀使用熱資料快取技術提升效能。通過將讀寫資料流解耦分別優化，實現了資源的最大化利用。

在整體架構設計上，GaiaDB對於系統資料一致性與可靠性方面做了重點加強。Mysql的主從切換一直是一個比較複雜的課題，在硬體掉電/網路不可達等場景下，保證資料的嚴格一致較為困難。GaiaDB將原生資料可靠能力（RPO=0)固化到系統的基礎設計之中，通過將一致性協定中的任期機制融入到整個資料鏈路中，新的寫入任期開啟後，任何過時寫入都會被排除在資料流之外，確保即使發生了假死等情況，資料的完整性也完全不會受到影響。

 

接下來想和大家分享一下 GaiaDB 在配合業務的分析需求、讓業務可以更高效流暢實現資料分析的一些實踐經驗。

很多業務在使用GaiaDB滿足交易類和輕度分析類需求的同時，還會使用Doris解決分析型場景下的需求，Doris是由百度自研並捐贈至Apache軟體基金會的開源MPP資料庫，在行業內獲得了廣泛的應用，對於不同種類的資料分析讀取需求，我們積累了一些成本與效率最優的解決方案，下面我來結合具體的案例進行分析。

如圖是一個典型的泛網際網路產品架構：最前端是網路接入層，用於承接APP/Web發來的業務請求、聚合和分發不同子系統之間流量；後面有多個業務子系統，例如商品、訂單、活動、推播等。這些使用者業務系統更關注的是資料的高並行+低延遲存取，對資料的一致性和事務隔離性也有較高的要求，同時由於線上活動或者節假日流量高峰，對彈性和擴充套件性也有迫切需求，GaiaDB可以很好滿足這類業務的需求。

與使用者業務系統使用同一份資料的部門往往還有另外兩類，一類是後臺服務，也就是對內的客服系統/運營維護系統/供應鏈業務系統等。這些系統的特點是：由於只有公司內部人員使用，QPS和並行不高，但負載複雜而且迭代要求高。比如運營部門經常需要進行新活動設計與設定，客服/MIS系統則需要配合線上活動情況增加各種查詢功能。因此，對於後臺類業務來講，能用SQL和事務快速完成複雜可靠的功能開發是剛性需求，所以SQL的功能豐富度與相容性顯得尤為重要，同時SQL的並行能力與計算下推對於這類場景的體驗優化具有重要作用。

第二類則是專業的資料分析團隊，資料分析團隊往往承擔了多維度、高複雜度的資料分析需求，所以通常使用專業的資料分析一攬子方案，這種場景下資料請求不會直接發往線上資料庫，而是需要儘量實時的從線上庫匯入至分析庫，因此快速、簡單、可靠的資料匯入匯出能力成為首要關注點。

 

所以針對異構分析的需求，100%生態相容的匯入匯出功能是首要+必備選項，特別是分析型解決方案的資料同步元件都是通用而非業務自研元件，上雲用雲過程中修改這部分基礎設施難度是非常高的。因此GaiaDB在這方面做了很多增強工作，比如基於紀錄檔流的高可靠強一致能力原生實現了RPO=0級別的Binlog流支援能力，同時對於通用的DTS產品和社群匯入匯出工具，也是保證了完全相容和歷史經驗複用，不增加額外的學習成本。

而對於輕度的離線分析需求，這部分的特點是需求多變、對成本敏感、與線上服務有隔離訴求。GaiaDB使用多入口技術支援業務在離線請求完全隔離，對於離線類請求使用單獨計算資源，不會對線上造成影響，同時充分利用儲存層分散式MVCC能力，不增加額外的儲存成本和資料一致性維護開銷，隨著離線負載的變化，對應計算資源還可以動態伸縮以進一步增強成本節省能力。對於支援資料分割區的業務來講，GaiaDB同樣相容了該功能，資料分割區可以有效降低資源爭搶密度，提升並行讀取能力，對於並行分析具備很好的提速作用。

 

還有一類對資料一致性要求更高的業務，如金融類產品，期望拿到精確到秒級的全域性一致資料用於分析，不但從空間維度要求資料一致，從時間維度上也期望在分析的過程中資料可以保證前後一致，這種場景下GaiaDB唯讀映象庫的能力就得以體現，在資源空閒的低峰時段建立映象庫同時啟動分析任務，有效利用低峰時段空閒算力。由於唯讀映象無需處理寫負載，所以寫相關的紀錄檔子系統可以裁剪以節省成本，同時也解耦了對高效能媒介的依賴。只需要計算節點+冷儲存媒介，結合查詢並行化技術充分利用分散式IO吞吐能力，即可實現超低成本離線分析解決方案。同時全量映象也確保了資料嚴格一致，避免了增量同步可能導致的DDL處理、資料校驗等複雜問題，有效保證了資料的可用性與可靠性。

 

近幾年隨著業務精細化程度的提升和基礎設施規模故障風險的存在，越來越多的業務將多活能力納入了架構設計考慮的範疇，業務既希望可以獲得高可用性，還想讓成本控制在比較低的程度，同時還不希望由業務實現多份資料的同步與維護，這樣就對資料庫這類基礎設施的多地多活能力提出了很高的要求，GaiaDB的高對稱架構天然適合多地多活方式部署，所有儲存副本邏輯上完全對稱，每個副本都具備動態回放任意版本資料能力，這樣就為資料就近存取打下了堅實的基礎：業務請求可以自動路由到同機房計算節點，計算節點請求同機房儲存副本即可讀取實時資料，避免了主從架構副本導致的多次跨機房存取問題。

同時全對稱架構還可以避免故障場景下批次選主帶來的服務中斷與請求風暴問題，任意副本故障不會影響其他副本工作，可用性更高、延遲更平穩。對於寫鏈路則使用並行寫入技術加速，最快的多數派返回即可實現寫入成功。綜上，GaiaDB的同城多活架構在讀寫鏈路上都可以避免單個慢節點/機房導致的效能抖動問題，使整體效能損耗控制在很小的範圍內。

 

此外GaiaDB也支援跨地域熱活範例組，將災備能力提升到了地域級，業務在地域間部署無需適配改造，即可實現就近讀取低延遲能力和寫請求自動轉發能力，無需維護複雜讀寫入口，提供了與單地域範例一致的使用體驗，幫助大量業務實現了跨地域災備能力。

 

以上就是我今天想和大家分享的內容，GaiaDB在架構設計上核心關注資料的高可靠與高可用性，重點打造了資料的極致可靠保障能力、跨地域多活能力與災備恢復能力，同時在使用體驗上注重簡單可靠，實現了對生態和使用經驗的完全相容，將使用者上雲門檻降至最低，讓所有上雲用雲業務都可以享受到基礎設施架構提升帶來的效能提升，謝謝大家。

本次大會圍繞「技術進化，讓資料更智慧」為主題，匯聚位元組跳動、阿里雲、玖章算術、華為雲、騰訊雲、百度的6位資料庫領域專家，深入 MySQL x ClickHouse 的實踐經驗和技術趨勢，結合企業級的真實場景落地案例，與廣大技術愛好者一起交流分享。