一個新的雪花演算法(雪花漂移)
IdGenerator
介紹
用一種全新的雪花漂移演算法,讓ID更短、生成速度更快。
核心在於縮短ID長度的同時,還能保持每毫秒並發處理量(50W/0.1s),且能保持伸縮能力。
功能說明
1.ID更短,是傳統演算法的幾倍,用50年都不會超過 js Number類型最大值。(默認配置WorkerId是6bit,自增數是6bit)
2.生成速度更快,0.1秒可生成50萬個。(i7筆記型電腦,默認演算法配置6bit+6bit)
3.支援時間回撥處理。比如Linux伺服器時間回撥1秒,本演算法能自動適應生成臨界時間的唯一ID。
4.支援手工插入新ID。當業務需要在歷史時間生成新ID時,用本演算法的預留位每秒能生成5000個。
5.漂移時對外非同步發通知事件。讓調用方確切知道演算法漂移記錄,Log並發調用量。
6.不依賴任何外部快取和資料庫。(但WorkerId必須由外部指定)
7.目前是C#版,很快會出java、php等版本。
文件說明
1.SnowWorkerM1.cs 是雪花漂移演算法。
2.SnowWorkerM2.cs 是傳統雪花演算法。
效果
1.js Number 類型最大數值:9007199254740992,本演算法在保持並發性能(5W+/0.01s)和最大64個WorkerId(6bit)的同時,能用70年才到 js Number Max 值。
2.增加WorkerId位數到8bit(128節點)時,15年達到 js Number Max 值。
3.極致性能:500W/1s。
4.所有測試數據均基於8代低壓i7計算。
適用範圍
1.小型、中型、大型需要全局唯一Id(不用Guid)的項目。
2.分散式項目。
3.不想將 Long 型轉 String 給前端用的項目。(若前端支援bigint,則可不轉類型)
大型分散式使用建議
1.可擴大 WorkerIdBitLength 到最多20位,支援 1,048,576 個節點,且不影響上述並發性能(50W/0.1s)。
2.採用中心化 IdGenerator 集群,給節點生成可用 Id 列表,存入 Redis 隊列供節點消費。此時64個中心化節點數足夠大型互聯網項目使用。
如何處理時間回撥
1.當發生系統時間回撥的時候,演算法採用過去時序的預留序數(0-5)生成新的ID。
2.默認每秒可生成100個(速度可調整)。
3.回撥生成的ID序號,默認靠前,也可以調整為靠後。
4.允許時間回撥至本演算法預設基數(參數可調,默認大於1年)。
能用多久
1.在默認配置下,ID可用 71000 年不重複。
2.在支援 1024 個工作節點時,ID可用 4480 年不重複。
3.在支援 4096 個工作節點時,ID可用 1120 年不重複。
4.以上所有工作節點,均擁有 50W/0.1s 最大處理速度。
代理示例
雪花漂移演算法
var options = new IdGeneratorOptions()
{
// 設置WorkerId,默認最大2^16-1
WorkerId = 1
};
var newId = new YitIdGenerator(options).NewLong();
傳統雪花演算法
var options = new IdGeneratorOptions()
{
Method = 2, // 默認1
WorkerId = 1
};
var newId = new YitIdGenerator(options).NewLong();
options說明
options參數(Method、StartTime除外)只支援漂移演算法,不支援傳統雪花演算法。
public class IdGeneratorOptions
{
/// <summary>
/// 雪花計算方法
/// (1|2)
/// </summary>
public short Method { get; set; } = 1;
/// <summary>
/// 開始時間(UTC格式)
/// 不能超過當前系統時間
/// </summary>
public DateTime StartTime { get; set; } = DateTime.MinValue;
/// <summary>
/// 機器碼
/// 與 WorkerIdBitLength 有關係
/// </summary>
public ushort WorkerId { get; set; } = 0;
/// <summary>
/// 機器碼位長
/// 範圍:2-21(要求:序列數位長+機器碼位長不超過22)。
/// 建議範圍:6-12。
/// </summary>
public byte WorkerIdBitLength { get; set; } = 6;
/// <summary>
/// 序列數位長
/// 範圍:2-21(要求:序列數位長+機器碼位長不超過22)。
/// 建議範圍:6-14。
/// </summary>
public byte SeqBitLength { get; set; } = 6;
/// <summary>
/// 最大序列數(含)
/// (由SeqBitLength計算的最大值)
/// </summary>
public int MaxSeqNumber { get; set; } = 0;
/// <summary>
/// 最小序列數(含)
/// 默認11,不小於5,不大於MaxSeqNumber-2
/// </summary>
public ushort MinSeqNumber { get; set; } = 11;
/// <summary>
/// 最大漂移次數(含),
/// 默認2000,推薦範圍500-10000(與計算能力有關)
/// </summary>
public int TopOverCostCount { get; set; } = 2000;
生成的ID
默認配置:
WorkerId = 6 (最多64個工作節點)
SeqBitLength = 6
ID示例:
129053495681099 (默認配置運行運行1年)
387750301904971 (默認配置運行運行3年)
646093214093387 (默認配置運行運行5年)
9007199254740992 (js Number 最大值)
技術支援
開源地址://gitee.com/yitter/idgenerator
QQ群:646049993
