一個新的雪花演算法(雪花漂移)

IdGenerator

介紹

用一種全新的雪花漂移演算法,讓ID更短、生成速度更快。
核心在於縮短ID長度的同時,還能保持每毫秒並發處理量(50W/0.1s),且能保持伸縮能力。

功能說明

1.ID更短,是傳統演算法的幾倍,用50年都不會超過 js Number類型最大值。(默認配置WorkerId是6bit,自增數是6bit)

2.生成速度更快,0.1秒可生成50萬個。(i7筆記型電腦,默認演算法配置6bit+6bit)

3.支援時間回撥處理。比如Linux伺服器時間回撥1秒,本演算法能自動適應生成臨界時間的唯一ID。

4.支援手工插入新ID。當業務需要在歷史時間生成新ID時,用本演算法的預留位每秒能生成5000個。

5.漂移時對外非同步發通知事件。讓調用方確切知道演算法漂移記錄,Log並發調用量。

6.不依賴任何外部快取和資料庫。(但WorkerId必須由外部指定)

7.目前是C#版,很快會出java、php等版本。

文件說明

1.SnowWorkerM1.cs 是雪花漂移演算法。

2.SnowWorkerM2.cs 是傳統雪花演算法。

效果

1.js Number 類型最大數值:9007199254740992,本演算法在保持並發性能(5W+/0.01s)和最大64個WorkerId(6bit)的同時,能用70年才到 js Number Max 值。

2.增加WorkerId位數到8bit(128節點)時,15年達到 js Number Max 值。

3.極致性能:500W/1s。

4.所有測試數據均基於8代低壓i7計算。

適用範圍

1.小型、中型、大型需要全局唯一Id(不用Guid)的項目。

2.分散式項目。

3.不想將 Long 型轉 String 給前端用的項目。(若前端支援bigint,則可不轉類型)

大型分散式使用建議

1.可擴大 WorkerIdBitLength 到最多20位,支援 1,048,576 個節點,且不影響上述並發性能(50W/0.1s)。

2.採用中心化 IdGenerator 集群,給節點生成可用 Id 列表,存入 Redis 隊列供節點消費。此時64個中心化節點數足夠大型互聯網項目使用。

如何處理時間回撥

1.當發生系統時間回撥的時候,演算法採用過去時序的預留序數(0-5)生成新的ID。

2.默認每秒可生成100個(速度可調整)。

3.回撥生成的ID序號,默認靠前,也可以調整為靠後。

4.允許時間回撥至本演算法預設基數(參數可調,默認大於1年)。

能用多久

1.在默認配置下,ID可用 71000 年不重複。

2.在支援 1024 個工作節點時,ID可用 4480 年不重複。

3.在支援 4096 個工作節點時,ID可用 1120 年不重複。

4.以上所有工作節點,均擁有 50W/0.1s 最大處理速度。

代理示例

雪花漂移演算法

var options = new IdGeneratorOptions()
{
	// 設置WorkerId,默認最大2^16-1
	WorkerId = 1
};

var newId = new YitIdGenerator(options).NewLong();

傳統雪花演算法

var options = new IdGeneratorOptions()
{
	Method = 2,  // 默認1
	WorkerId = 1
};

var newId = new YitIdGenerator(options).NewLong();

options說明

options參數(Method、StartTime除外)只支援漂移演算法,不支援傳統雪花演算法。

public class IdGeneratorOptions
{
    /// <summary>
    /// 雪花計算方法
    /// (1|2)
    /// </summary>
    public short Method { get; set; } = 1;

    /// <summary>
    /// 開始時間(UTC格式)
    /// 不能超過當前系統時間
    /// </summary>
    public DateTime StartTime { get; set; } = DateTime.MinValue;

    /// <summary>
    /// 機器碼
    /// 與 WorkerIdBitLength 有關係
    /// </summary>
    public ushort WorkerId { get; set; } = 0;

    /// <summary>
    /// 機器碼位長
    /// 範圍:2-21(要求:序列數位長+機器碼位長不超過22)。
    /// 建議範圍:6-12。
    /// </summary>
    public byte WorkerIdBitLength { get; set; } = 6;

    /// <summary>
    /// 序列數位長
    /// 範圍:2-21(要求:序列數位長+機器碼位長不超過22)。
    /// 建議範圍:6-14。
    /// </summary>
    public byte SeqBitLength { get; set; } = 6;

    /// <summary>
    /// 最大序列數(含)
    /// (由SeqBitLength計算的最大值)
    /// </summary>
    public int MaxSeqNumber { get; set; } = 0;

    /// <summary>
    /// 最小序列數(含)
    /// 默認11,不小於5,不大於MaxSeqNumber-2
    /// </summary>
    public ushort MinSeqNumber { get; set; } = 11;

    /// <summary>
    /// 最大漂移次數(含),
    /// 默認2000,推薦範圍500-10000(與計算能力有關)
    /// </summary>
    public int TopOverCostCount { get; set; } = 2000;

生成的ID

默認配置:

WorkerId = 6	(最多64個工作節點)
SeqBitLength = 6

ID示例:

129053495681099        (默認配置運行運行1年)
387750301904971        (默認配置運行運行3年)
646093214093387        (默認配置運行運行5年)
9007199254740992       (js Number 最大值)

技術支援

開源地址://gitee.com/yitter/idgenerator

QQ群:646049993