自研分散式高效能RPC框架及服務註冊中心ApiRegistry實踐筆記【原創】【開源】

痛點

1. bsf底層依賴springcloud,影響bsf更新springboot新版本和整體最新技術版本升級。

2. eureka已經閉源，且框架設計較重，同時引入eureka會自行引入較多springcloud相關包和元件。

方案

1. 自研輕量級高效能rpc框架Bsf APIRegistry。

目標

Bsf APIRegistry需要解決的關鍵痛點：

1. 程式碼簡單，簡單，簡單！框架實現要輕量，容易擴充套件，這樣效能擴充套件也會很高。

2. 要相容舊專案@FeignClient,業務開發零改造程式碼,實現業務零感知無縫遷移。

3. 引入的第三方元件越少越好，以後bsf元件衝突問題也會少。（本地服務啟動時間應該也會比eureka註冊中心快很多）

4. 高效能，高擴充套件能力，可以支援未來服務上萬節點線上。

5. 解決現有本地偵錯痛點。（開發環境在阿里雲容器中,要實現多人開發本地測試線上聯調!）

6. 支援無註冊中心方式使用和無縫遷移。（可以藉助k8s自帶負載均衡閘道器,相容場景並使用無註冊中心架構）

技術要求

Bsf APIRegistry需要具備幾個關鍵技術點：

支援HttpUrlConnection,HttpClient建立的連線池及擴充套件。
支援輪訓模式負載均衡及擴充套件。
支援消費者端檢測故障,臨時轉移到可用服務,待服務故障恢復後恢復呼叫。
支援redis註冊中心及擴充套件，以及無註冊中心架構。
支援protobuf協定,整體rpc效能會有較大提升。

架構示意圖

整體參考按照eureka的技術原理，以bsf-core框架為核心，優先擴充套件實現redis註冊中心方案。同時整體架構考慮eureka註冊中心的相容性使用，@feignClient註解的feign的相容性api協定編寫，支援雙註冊中心部署和無縫遷移方案，從而達到開發人員零改動，無感知的目標。

同時redis單機可以支援上萬使用者端連結，同樣redis也支援主從高可用分散式部署，故採用redis做註冊中心也可以支援上萬的分散式服務節點同時線上和註冊中心高可用支援。在框架層面註冊中心抽象剝離實現可延伸，也可以為更好更高效能的註冊中心實現做擴充套件能力支援。

消費者端RPC呼叫生命週期圖

整體rpc呼叫會經歷使用者端@ApiClient(相容@FeignClient註解)協定解析為RPC Request資訊，通過RPC負載均衡器獲取服務列表的可用節點（排除故障節點），進行RPC編碼器進行編碼（json或者protobuf等），再通過RPC 連線池（http連線池）獲取可用tcp連線呼叫遠端rpc結果，然後對rpc結果進行RPC解碼器解碼，最終返回RPC物件結果。

消費者端RPC啟動初始化

整體rpc框架啟動時會經歷一次初始化，通過包掃描@ApiClient（相容@FeignClient註解）相關的協定介面類，會對協定介面類進行透明代理，並註冊代理範例到springboot bean中。

相容eureka模式的無縫遷移方案

為了保證無縫遷移和開發人員無感知，在bsf sdk層面對@FeignClient(feign呼叫)做協定相容支援，這樣理論上開發人員無需改動舊程式碼；

同時2.1 版本bsf sdk層面實現雙註冊中心相容（支援eureka server和bsf ApiRegistriy同時線上）去確保平滑遷移；

在bsf sdk中加入「測試模式」，通過apollo設定中心動態修改模式，支援框架層面隨時切換使用eureka server和ApiRegistry任意註冊中心呼叫rpc，

也可以對rpc結果進行同步核對結果集校驗+動態報警（確保協定相容驗證）來確保可以相容穩定遷移和遷移實時回滾。

ApiRegistry開源地址

地址: https://gitee.com/chejiangyi/free-bsf-all/tree/2.2-SNAPSHOT/free-bsf-apiregistry

包含原始碼，更多詳細設定，實踐和場景支援記錄。

原始碼核心模組

其中核心類就兩三個，原始碼總共也就10幾個類，程式碼簡單，邏輯簡單（核心就是為了輕量!!!），一般在10分鐘就可以看明白整體結構和程式碼。

小白快速上手

參照包

<dependency>
    <artifactId>free-bsf-api</artifactId>
    <groupId>com.free.bsf</groupId>
    <version>2.2-SNAPSHOT</version>
</dependency>
<dependency>
    <artifactId>free-bsf-core</artifactId>
    <groupId>com.free.bsf</groupId>
    <version>2.2-SNAPSHOT</version>
</dependency>
<dependency>
    <artifactId>free-bsf-apiregistry</artifactId>
    <groupId>com.free.bsf</groupId>
    <version>2.2-SNAPSHOT</version>
</dependency>

free-bsf-api:為協定包，包含ApiRegistry通用協定,用在業務專案協定層。

free-bsf-core:為bsf核心包,一般為工具類為主。

free-bsf-apiregistry:為bsf ApiRegistry實現包。

properties設定:

#springboot 應用名
spring.application.name=free-demo-provider
#一鍵啟用開關,預設false,重啟後生效
bsf.apiRegistry.enabled=true
#支援ApiClient/FeignClient註解方式的Rpc攔截,重啟後生效,預設false
bsf.apiRegistry.apiClientAspect.enabled=true
#rpcClient 掃描@ApiClient/@FeignClient註解的包,以逗號分割多個【rpc呼叫必填】
bsf.apiRegistry.rpcClient.basePackages=com.xxxx.xxxx
#註冊中心redis實現的,redis地址格式:127.0.0.1:6379(無密碼登陸)
bsf.apiRegistry.registry.redis.host=XXX.XXX.XXX.XXX:6379

api協定程式碼範例

//相容@FeginClient
@ApiClient(name = "lmc-test-provider",path = "/")
public interface  CustomerProvider {
    /*介面協定定義*/
    //支援GetMapping,PostMapping
    @PostMapping("/test")
    //支援@RequestParam,@RequestBody
    ApiResponseEntity<String>  test(@RequestParam("str") String str);
}

總結

ApiRegistry 為近期技術問題解決的隨手之作，雖自測無太大問題，但目前還需要真實遷移落地和技術升級（包括可能的bug修復）。

技術無捷徑，勤做筆記，點滴進步，與君共勉！！！

by 車江毅

技術vp

2022-12-15

其他博文：

高效能全鏈路效能壓測筆記 https://www.cnblogs.com/chejiangyi/p/16900586.html

五個維度打造研發管理體系 https://www.cnblogs.com/chejiangyi/p/15420637.html

高效能研發體系建設概論 https://www.cnblogs.com/chejiangyi/p/15000543.html