ASP.NET Core中使用固定窗口限流
演算法原理
固定窗口演算法又稱計數器演算法,是一種簡單的限流演算法。在單位時間內設定一個閾值和一個計數值,每收到一個請求則計數值加一,如果計數值超過閾值則觸發限流,如果達不到則請求正常處理,進入下一個單位時間後,計數值清零,重新累計。
如上圖所示,時間單位是1秒,閾值是3。
-
第1秒3個請求,不會觸發限流;
-
第2秒1個請求,不會觸發限流;
-
第3秒4個請求,這一秒的前3個請求正常處理,第4個請求觸發限流,會被拒絕處理。
-
後續第4秒、第5秒不會觸發限流,所有請求正常處理。
演算法實現
這裡講兩種實現方法:進程內即記憶體固定窗口演算法、基於Redis的固定窗口演算法。
進程內即記憶體固定窗口演算法
使用字典,Key是限流目標,Value包括計數值和過期時間。處理請求時,首先從請求中提取限流目標,然後根據限流目標去字典中查找,如果不存在,則添加一個字典項,計數值是1,過期時間是當前時間+限流單位時間;如果存在,則檢查是否過期,如果過期,則計數值歸1,過期時間是當前時間+限流單位時間,如果未過期,則僅計數值加1。這裡需要注意多執行緒問題,讀寫數據時需要加鎖。
在C#語言中可以使用MemoryCache,它的快取項有一個過期時間,不需要自己回收過期的項目。
進程內計數的方法最適合單實例處理的程式限流,多實例處理的情況下可能每個實例收到的請求數不均勻,不能保證限流效果。
基於Redis的固定窗口演算法
Redis作為KV存儲,類似於字典,而且也自帶過期時間。處理請求時,首先從請求中提取限流目標,然後根據限流目標去Redis中查找,如果不存在,則添加KV項,Value值是1,過期時間是當前時間+限流單位時間;如果存在,則Value值加1。
這些操作邏輯可以封裝在一個Lua script中,因為Lua script在Redis中執行時也是原子操作,所以Redis的限流計數在分散式處理時天然就是準確的。
演算法應用
這裡以限流組件 FireflySoft.RateLimit 為例,實現ASP.NET Core中的固定窗口限流。
1、安裝Nuget包
有多種安裝方式,選擇自己喜歡的就行了。
包管理器命令:
Install-Package FireflySoft.RateLimit.AspNetCore
或者.NET命令:
dotnet add package FireflySoft.RateLimit.AspNetCore
或者項目文件直接添加:
<ItemGroup>
<PackageReference Include="FireflySoft.RateLimit.AspNetCore" Version="2.*" />
</ItemGroup>
2、使用中間件
在Startup中使用中間件,演示程式碼如下(下邊會有詳細說明):
public void ConfigureServices(IServiceCollection services)
{
...
app.AddRateLimit(new InProcessFixedWindowAlgorithm(
new[] {
new FixedWindowRule()
{
ExtractTarget = context =>
{
// 提取限流目標
return (context as HttpContext).Request.Path.Value;
},
CheckRuleMatching = context =>
{
// 判斷當前請求是否需要限流處理
return true;
},
Name="fixed window limit rule",
LimitNumber=30, // 限流閾值
StatWindow=TimeSpan.FromSeconds(1) // 限流單位時間
}
})
);
...
}
public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
{
...
app.UseRateLimit();
...
}
如上需要先註冊服務,然後使用中間件。
註冊服務的時候需要提供限流演算法和對應的規則:
- 這裡使用進程內固定窗口演算法InProcessFixedWindowAlgorithm,還可以使用RedisFixedWindowAlgorithm,需要傳入一個Redis連接。
- 限流閾值是30,限流單位時間是1秒。
- ExtractTarget用於提取限流目標,這裡是每個不同的請求Path。如果有IO請求,這裡還支援對應的非同步方法ExtractTargetAsync。
- CheckRuleMatching用於驗證當前請求是否限流。如果有IO請求,這裡還支援對應的非同步方法CheckRuleMatchingAsync。
- 默認被限流時會返回HttpStatusCode 429,可以在AddRateLimit時使用可選參數error自定義這個值,以及Http Header和Body中的內容。
基本的使用就是上邊例子中的這些了。
如果還是基於傳統的.NET Framework,則需要在Application_Start中註冊一個消息處理器RateLimitHandler,演算法和規則部分都是共用的,具體可以看Github上的使用說明://github.com/bosima/FireflySoft.RateLimit#aspnet
FireflySoft.RateLimit 是一個基於 .NET Standard 的限流類庫,其內核簡單輕巧,能夠靈活應對各種需求的限流場景。
其主要特點包括:
- 多種限流演算法:內置固定窗口、滑動窗口、漏桶、令牌桶四種演算法,還可自定義擴展。
- 多種計數存儲:目前支援記憶體、Redis兩種存儲方式。
- 分散式友好:通過Redis存儲支援分散式程式統一計數。
- 限流目標靈活:可以從請求中提取各種數據用於設置限流目標。
- 支援限流懲罰:可以在客戶端觸發限流後鎖定一段時間不允許其訪問。
- 動態更改規則:支援程式運行時動態更改限流規則。
- 自定義錯誤:可以自定義觸發限流後的錯誤碼和錯誤消息。
- 普適性:原則上可以滿足任何需要限流的場景。
Github開源地址://github.com/bosima/FireflySoft.RateLimit
收穫更多架構知識,請關注公眾號 螢火架構。原創內容,轉載請註明出處。