ASP.NET Core中使用固定窗口限流

演算法原理

固定窗口演算法又稱計數器演算法,是一種簡單的限流演算法。在單位時間內設定一個閾值和一個計數值,每收到一個請求則計數值加一,如果計數值超過閾值則觸發限流,如果達不到則請求正常處理,進入下一個單位時間後,計數值清零,重新累計。

WX20211208-222755@2x

如上圖所示,時間單位是1秒,閾值是3。

  • 第1秒3個請求,不會觸發限流;

  • 第2秒1個請求,不會觸發限流;

  • 第3秒4個請求,這一秒的前3個請求正常處理,第4個請求觸發限流,會被拒絕處理。

  • 後續第4秒、第5秒不會觸發限流,所有請求正常處理。

演算法實現

這裡講兩種實現方法:進程內即記憶體固定窗口演算法、基於Redis的固定窗口演算法。

進程內即記憶體固定窗口演算法

使用字典,Key是限流目標,Value包括計數值和過期時間。處理請求時,首先從請求中提取限流目標,然後根據限流目標去字典中查找,如果不存在,則添加一個字典項,計數值是1,過期時間是當前時間+限流單位時間;如果存在,則檢查是否過期,如果過期,則計數值歸1,過期時間是當前時間+限流單位時間,如果未過期,則僅計數值加1。這裡需要注意多執行緒問題,讀寫數據時需要加鎖。

在C#語言中可以使用MemoryCache,它的快取項有一個過期時間,不需要自己回收過期的項目。

進程內計數的方法最適合單實例處理的程式限流,多實例處理的情況下可能每個實例收到的請求數不均勻,不能保證限流效果。

基於Redis的固定窗口演算法

Redis作為KV存儲,類似於字典,而且也自帶過期時間。處理請求時,首先從請求中提取限流目標,然後根據限流目標去Redis中查找,如果不存在,則添加KV項,Value值是1,過期時間是當前時間+限流單位時間;如果存在,則Value值加1。

這些操作邏輯可以封裝在一個Lua script中,因為Lua script在Redis中執行時也是原子操作,所以Redis的限流計數在分散式處理時天然就是準確的。

演算法應用

這裡以限流組件 FireflySoft.RateLimit 為例,實現ASP.NET Core中的固定窗口限流。

1、安裝Nuget包

有多種安裝方式,選擇自己喜歡的就行了。

包管理器命令:

Install-Package FireflySoft.RateLimit.AspNetCore

或者.NET命令:

dotnet add package FireflySoft.RateLimit.AspNetCore

或者項目文件直接添加:

<ItemGroup>
<PackageReference Include="FireflySoft.RateLimit.AspNetCore" Version="2.*" />
</ItemGroup>

2、使用中間件

在Startup中使用中間件,演示程式碼如下(下邊會有詳細說明):

public void ConfigureServices(IServiceCollection services)
        {
           ...
           app.AddRateLimit(new InProcessFixedWindowAlgorithm(
                new[] {
                    new FixedWindowRule()
                    {
                        ExtractTarget = context =>
                        {
                        		// 提取限流目標
                            return (context as HttpContext).Request.Path.Value;
                        },
                        CheckRuleMatching = context =>
                        {
                        		// 判斷當前請求是否需要限流處理
                            return true;
                        },
                        Name="fixed window limit rule",
                        LimitNumber=30, // 限流閾值
                        StatWindow=TimeSpan.FromSeconds(1) // 限流單位時間
                    }
                })
            );
            ...
        }

public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
        {
            ...
            app.UseRateLimit();
            ...
        }

如上需要先註冊服務,然後使用中間件。

註冊服務的時候需要提供限流演算法和對應的規則:

  • 這裡使用進程內固定窗口演算法InProcessFixedWindowAlgorithm,還可以使用RedisFixedWindowAlgorithm,需要傳入一個Redis連接。
  • 限流閾值是30,限流單位時間是1秒。
  • ExtractTarget用於提取限流目標,這裡是每個不同的請求Path。如果有IO請求,這裡還支援對應的非同步方法ExtractTargetAsync。
  • CheckRuleMatching用於驗證當前請求是否限流。如果有IO請求,這裡還支援對應的非同步方法CheckRuleMatchingAsync。
  • 默認被限流時會返回HttpStatusCode 429,可以在AddRateLimit時使用可選參數error自定義這個值,以及Http Header和Body中的內容。

基本的使用就是上邊例子中的這些了。

如果還是基於傳統的.NET Framework,則需要在Application_Start中註冊一個消息處理器RateLimitHandler,演算法和規則部分都是共用的,具體可以看Github上的使用說明://github.com/bosima/FireflySoft.RateLimit#aspnet


FireflySoft.RateLimit 是一個基於 .NET Standard 的限流類庫,其內核簡單輕巧,能夠靈活應對各種需求的限流場景。

其主要特點包括:

  • 多種限流演算法:內置固定窗口、滑動窗口、漏桶、令牌桶四種演算法,還可自定義擴展。
  • 多種計數存儲:目前支援記憶體、Redis兩種存儲方式。
  • 分散式友好:通過Redis存儲支援分散式程式統一計數。
  • 限流目標靈活:可以從請求中提取各種數據用於設置限流目標。
  • 支援限流懲罰:可以在客戶端觸發限流後鎖定一段時間不允許其訪問。
  • 動態更改規則:支援程式運行時動態更改限流規則。
  • 自定義錯誤:可以自定義觸發限流後的錯誤碼和錯誤消息。
  • 普適性:原則上可以滿足任何需要限流的場景。

Github開源地址://github.com/bosima/FireflySoft.RateLimit

收穫更多架構知識,請關注公眾號 螢火架構。原創內容,轉載請註明出處。