.NET服務治理之限流中介軟體-FireflySoft.RateLimit

2022-07-05 09:01:33

概述

FireflySoft.RateLimit自2021年1月釋出第一個版本以來,經歷了多次升級迭代,目前已經十分穩定,被很多開發者應用到了生產系統中,最新發布的版本是3.0.0。

它的核心是一個基於 .NET Standard 的限流類庫,其核心簡單輕巧,能夠靈活應對各種需求的限流場景。其主要特點包括:

  • 多種限流演演算法:內建固定視窗、滑動視窗、漏桶、令牌桶四種演演算法,方便自定義擴充套件。
  • 多種計數儲存:目前支援記憶體、Redis(含叢集)兩種儲存方式。
  • 分散式友好:通過Redis儲存支援分散式程式統一計數。
  • 限流目標靈活:可以從請求中提取各種資料用於設定限流目標,不僅僅是使用者端IP和Id。
  • 支援限流懲罰:可以在使用者端觸發限流後鎖定一段時間不允許其存取。
  • 時間視窗增強:支援到毫秒級別;支援從秒、分鐘、小時、日期等時間週期的自然起始點開始。
  • 實時限流跟蹤:當前計數週期內已處理的請求數、剩餘允許請求數,以及計數週期重置的時間。
  • 動態更改規則:支援程式執行時動態更改限流規則。
  • 自定義錯誤:可以自定義觸發限流後的錯誤碼和錯誤訊息。
  • 普適性:原則上可以滿足任何需要限流的場景,可用於各種B/S、C/S程式。

基於這個核心又實現了兩個中介軟體:

相比使用FireflySoft.RateLimit核心類庫,直接使用這兩個中介軟體比較方便一些。如果這兩個中介軟體不能滿足你的需求,比如不是應用在官方的Web框架中,甚至不是Web程式,問題不大,可以基於核心類庫滿足你的限流需求,你要做的只是定義好你要限流的請求,並在觸發限流時執行自己的業務邏輯,限流的演演算法如何實現都不需要關心。

這些類庫和中介軟體都是可以通過Nuget安裝的,搜尋 FireflySoft.RateLimit 即可找到。

使用範例

這篇文章以一個ASP.NET Core程式為例,說明FireflySoft.RateLimit的使用方法。

程式的業務需求是:對獲取天氣預報的介面,根據使用者端IP和ClientId進行限流,每個IP每秒鐘1次,每個ClientId每秒鐘3次。ClientId是預先分配給呼叫方的。根據規則,呼叫方如果只有1個出口IP,那麼每秒鐘只能存取1次,如果有多個出口IP,那麼每秒鐘最多存取3次。

這個範例程式是基於.NET6開發的,當然你用.NET Core 3.1也沒有問題,只是.NET6預設把服務和中介軟體註冊都放到了Program.cs 中。(建議升級到.NET6,.NET6相比.NET Core 3.1的效能有明顯的提升。)

來看程式碼吧,只需要註冊服務和Middleware就可以了。

using FireflySoft.RateLimit.AspNetCore;
using FireflySoft.RateLimit.Core.InProcessAlgorithm;
using FireflySoft.RateLimit.Core.Rule;

var builder = WebApplication.CreateBuilder(args);

...

builder.Services.AddRateLimit(new InProcessFixedWindowAlgorithm(
    new[] {
        new FixedWindowRule()
        {
            ExtractTarget = context =>
            {
                var httpContext= context as HttpContext;

                // Through CDN
                var ip = httpContext!.Request.Headers["Cdn-Src-Ip"].FirstOrDefault();
                if (!string.IsNullOrEmpty(ip))
                    return ip;

                // Through SLB
                ip = httpContext!.Request.Headers["X-Forwarded-For"].FirstOrDefault();
                if (!string.IsNullOrEmpty(ip))
                    return ip;

                ip = httpContext!.Connection.RemoteIpAddress?.ToString();
                return ip??"Anonymous-IP";
            },
            CheckRuleMatching = context =>
            {
                var requestPath = (context as HttpContext)!.Request.Path.Value;
                if (requestPath == "/WeatherForecast/Future")
                {
                    return true;
                }
                return false;
            },
            Name = "ClientIPRule",
            LimitNumber = 3,
            StatWindow = TimeSpan.FromSeconds(1)
        },
        new FixedWindowRule()
        {
            ExtractTarget = context =>
            {
                var httpContext= context as HttpContext;
                var clientID = httpContext!.Request.Headers["X-ClientId"].FirstOrDefault();

                return clientID??"Anonymous-ClientId";
            },
            CheckRuleMatching = context =>
            {
                var requestPath = (context as HttpContext)!.Request.Path.Value;
                if (requestPath == "/WeatherForecast/Future")
                {
                    return true;
                }
                return false;
            },
            Name = "ClientIdRule",
            LimitNumber = 1,
            StatWindow = TimeSpan.FromSeconds(1)
        }
    })
);

...

app.UseRateLimit();

...

貼上的程式碼中只保留了此中介軟體需要的內容,註冊服務使用 AddRateLimit,使用中介軟體通過 UseRateLimit。

演演算法

AddRateLimit 時需要指定一個限流演演算法,範例中是基於本地記憶體的固定視窗演演算法,可以根據需要更換為其它演演算法,比如可以應對短時突發流量的令牌桶演演算法。

對於某種具體的演演算法,基於本地記憶體和基於Redis的實現是不同的類,因為為了更好的效能,Redis實現的演演算法是通過Lua指令碼寫的,它完全執行在Redis伺服器端。

為了方便使用,將這些演演算法的名字列在這裡:

基於本地記憶體(程序內) 基於Redis
固定視窗演演算法 InProcessFixedWindowAlgorithm RedisFixedWindowAlgorithm
滑動視窗演演算法 InProcessSlidingWindowAlgorithm RedisSlidingWindowAlgorithm
漏桶演演算法 InProcessFixedWindowAlgorithm RedisFixedWindowAlgorithm
令牌桶演演算法 InProcessTokenBucketAlgorithm RedisokenBucketAlgorithm

目前一個ASP.NET Core程式中只能使用一種演演算法,不知道是否有多種演演算法的需求,如有需要可以對FireflySoft.RateLimit.AspNetCore 進行一些改造:

  • AddRateLimit時註冊IAlgorithm改為註冊IAlgorithm的解析器,解析器提供一個方法根據某個Key返回IAlgorithm的具體實現。

  • RateLimitMiddleware中根據當前請求確定要使用的演演算法,然後呼叫解析器的方法獲取IAlgorithm的具體實現。

規則

建立演演算法範例的時候,還需要指定演演算法的規則,這裡根據演演算法使用的是 FixedWindowRule,對於同一個演演算法,程序內實現和Redis實現使用相同的規則。

看一下這裡使用的規則的幾個屬性:

ExtractTarget 設定一個函數,用於從HTTP請求中提取要限流的目標,比如這裡的使用者端IP和使用者端ID,還可以是各種可以從請求中提取或關聯到的東西,比如Http Header中攜帶的使用者Id,或者根據使用者Id查詢到的使用者年齡。

CheckRuleMatching 設定一個函數,返回當前請求是否能匹配到某個限流規則,如果能匹配到,則返回true。比如只對 /api/req 這個路徑限流,那麼只要判斷請求的路徑是它,就返回true,其它路徑都返回false。當然也可以是根據各種可以從請求中提取或關聯到的東西來進行判斷。

Name 限流規則的名字,方便人跟蹤的時候進行區分。

StatWindow 限流的時間視窗。比如需求中的每秒鐘3次,這裡的時間視窗就要設定為1秒。

LimitNumber 限流的次數閾值。比如需求中的每秒鐘3次,這裡的時間視窗就要設定為3,超過3就會被限流。

規則中還有其它幾個屬性,不同演演算法的規則也略有不同,這裡就不一一列舉了。感興趣的朋友可以去範例程式碼單元測試中認識它們。

一個演演算法中可以新增多個對應演演算法的規則,這無疑會比較靈活。

更多使用說明


以上就是本文的主要內容了,如有問題歡迎留言交流。