CosId 通用、靈活、高性能的分佈式 ID 生成器

  • 2021 年 6 月 26 日
  • 筆記

CosId 通用、靈活、高性能的分佈式 ID 生成器

介紹

CosId 旨在提供通用、靈活、高性能的分佈式系統 ID 生成器。 目前提供了倆大類 ID 生成器：SnowflakeId （單機 TPS 性能：409W JMH 基準測試）、RedisIdGenerator (單機 TPS 性能(步長 1000)：1268W JMH 基準測試)。

SnowflakeId

Snowflake

SnowflakeId 使用 Long （64 bits） 位分區來生成 ID 的一種分佈式 ID 算法。
通用的位分配方案為：timestamp (41 bits) + machineId (10 bits) + sequence (12 bits) = 63 bits 。

  • 41 位 timestamp = (1L<<41)/(1000/3600/365) 約可以存儲 69 年的時間戳，即可以使用的絕對時間為 EPOCH + 69 年，一般我們需要自定義EPOCH為產品開發時間，另外還可以通過壓縮其他區域的分配位數，來增加時間戳位數來延長可用時間。
  • 10 位 machineId = (1L<<10) = 1024 即相同業務可以部署 1024 個副本 (在 Kubernetes 概念里沒有主從副本之分，這裡直接沿用 Kubernetes 的定義) 實例，一般情況下沒有必要使用這麼多位，所以會根據部署規模需要重新定義。
  • 12 位 sequence = (1L<<12) * 1000 = 4096000 即單機每秒可生成約 409W 的 ID，全局同業務集群可產生 4096000*1024=419430W=41.9億(TPS)。

從 SnowflakeId 設計上可以看出:

  • 👍 timestamp 在高位，所以 SnowflakeId 是本機單調遞增的，受全局時鐘同步影響 SnowflakeId 是全局趨勢遞增的。
  • 👍 SnowflakeId 不對任何第三方中間件有強依賴關係，並且性能也非常高。
  • 👍 位分配方案可以按照業務系統需要靈活配置，來達到最優使用效果。
  • 👎 強依賴本機時鐘，潛在的時鐘回撥問題會導致 ID 重複。
  • 👎 machineId 需要手動設置，實際部署時如果採用手動分配 machineId，會非常低效。

CosId-SnowflakeId
主要解決 SnowflakeId 倆大問題：機器號分配問題、時鐘回撥問題。 並且提供更加友好、靈活的使用體驗。

MachineIdDistributor (MachineId 分配器)

目前 CosId 提供了以下三種 MachineId 分配器。

ManualMachineIdDistributor

cosid:
  snowflake:
    manual:
      enabled: true
      machine-id: 1

手動分配 MachineId

StatefulSetMachineIdDistributor

cosid:
  snowflake:
    stateful-set:
    enabled: true

使用 Kubernetes 的 StatefulSet 提供的穩定的標識 ID 作為機器號。

RedisMachineIdDistributor

cosid:
  snowflake:
    redis:
      enabled: true

使用 Redis 作為機器號的分發存儲。

ClockBackwardsSynchronizer (時鐘回撥同步器)

默認提供的 DefaultClockBackwardsSynchronizer 時鐘回撥同步器使用主動等待同步策略，spinThreshold(默認值 20 毫秒) 用於設置自旋等待閾值， 當大於spinThreshold
時使用線程休眠等待時鐘同步，如果超過brokenThreshold(默認值 2 秒)時會直接拋出ClockTooManyBackwardsException異常。

LocalMachineState (本地機器狀態存儲)

public class MachineState {
  public static final MachineState NOT_FOUND = of(-1, -1);
  private final int machineId;
  private final long lastTimeStamp;

  public MachineState(int machineId, long lastTimeStamp) {
    this.machineId = machineId;
    this.lastTimeStamp = lastTimeStamp;
  }

  public int getMachineId() {
    return machineId;
  }

  public long getLastTimeStamp() {
    return lastTimeStamp;
  }

  public static MachineState of(int machineId, long lastStamp) {
    return new MachineState(machineId, lastStamp);
  }
}

默認提供的 FileLocalMachineState 本地機器狀態存儲，使用本地文件存儲機器號、最近一次時間戳，用作 MachineState 緩存。

ClockSyncSnowflakeId (主動時鐘同步 SnowflakeId)

默認 SnowflakeId 當發生時鐘回撥時會直接拋出 ClockBackwardsException 異常，而使用 ClockSyncSnowflakeId 會使用 ClockBackwardsSynchronizer
主動等待時鐘同步來重新生成 ID，提供更加友好的使用體驗。

SafeJavaScriptSnowflakeId (JavaScript 安全的 SnowflakeId)

SnowflakeId snowflakeId = SafeJavaScriptSnowflakeId.ofMillisecond(1);

JavaScript 的 Number.MAX_SAFE_INTEGER 只有 53 位，如果直接將 63 位的 SnowflakeId 返回給前端，那麼會值溢出的情況，通常我們可以將SnowflakeId轉換為
String 類型或者自定義 SnowflakeId 位分配來縮短 SnowflakeId 的位數 使 ID 提供給前端時不溢出。

SnowflakeIdStateParser (可以將 SnowflakeId 解析成可讀性更好的 SnowflakeIdState )

public class SnowflakeIdState {

    private final long id;

    private final int machineId;

    private final long sequence;

    private final LocalDateTime timestamp;
    /**
     * {@link #timestamp}-{@link #machineId}-{@link #sequence}
     */
    private final String friendlyId;
}

        SnowflakeIdState idState=snowflakeIdStateParser.parse(id);
        idState.getFriendlyId(); //20210623131730192-1-0

RedisIdGenerator

單機 Redis 的 TPS 性能極限大概在 10W+ 左右，如果在部分場景下我們對性能有更高的要求，那麼可以選擇使用增加每次ID分發步長來降低網絡IO請求頻次，提高 IdGenerator 性能，使用RedisIdGenerator生成ID TPS 極限約等於 10+W * Step。

IdGeneratorProvider

cosid:
  snowflake:
    providers:
      bizA:
        #      epoch:
        #      timestamp-bit:
        #      machine-bit:
        sequence-bit: 12
      bizB:
        #      epoch:
        #      timestamp-bit:
        #      machine-bit:
        sequence-bit: 12

在實際使用中我們一般不會所有業務服務使用同一個 IdGenerator ，而是不同的業務使用不同的 IdGenerator，那麼 IdGeneratorProvider 就是為了解決這個問題而存在的，他是 IdGenerator 的容器，可以通過業務名來獲取相應的 IdGenerator。

Examples

CosId-Examples

安裝

Gradle

Kotlin DSL

    val cosidVersion = "0.8.2";
    implementation("me.ahoo.cosid:spring-boot-starter-cosid:${cosidVersion}")

Maven

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="//maven.apache.org/POM/4.0.0"
         xmlns:xsi="//www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="//maven.apache.org/POM/4.0.0 //maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>
    <artifactId>demo</artifactId>
    <properties>
        <cosid.version>0.8.2</cosid.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>me.ahoo.cosid</groupId>
            <artifactId>spring-boot-starter-cosid</artifactId>
            <version>${cosid.version}</version>
        </dependency>
    </dependencies>

</project>

application.yaml

cosid:
  namespace: ${spring.application.name}
  snowflake:
    #  stateful-set:
    #    enabled: true
    #  manual:
    #    enabled: true
    #    machine-id: 1
    redis:
      enabled: true
    providers:
      order:
        #      epoch:
        #      timestamp-bit:
        #      machine-bit:
        sequence-bit: 12
      user:
        #      epoch:
        #      timestamp-bit:
        #      machine-bit:
        sequence-bit: 12
    enabled: false
  redis:
    enabled: true
    providers:
      order:
        step: 100

JMH-Benchmark

SnowflakeId

Benchmark                                                    Mode  Cnt        Score   Error  Units
SnowflakeIdBenchmark.millisecondSnowflakeId_generate        thrpt       4093924.313          ops/s
SnowflakeIdBenchmark.safeJsMillisecondSnowflakeId_generate  thrpt        511542.292          ops/s
SnowflakeIdBenchmark.safeJsSecondSnowflakeId_generate       thrpt        511939.629          ops/s
SnowflakeIdBenchmark.secondSnowflakeId_generate             thrpt       4204761.870          ops/s

RedisIdGenerator

Benchmark                              Mode  Cnt         Score   Error  Units
RedisIdGeneratorBenchmark.step_1      thrpt          86243.935          ops/s
RedisIdGeneratorBenchmark.step_100    thrpt        1718229.010          ops/s
RedisIdGeneratorBenchmark.step_1000   thrpt       12688174.755          ops/s
RedisIdGeneratorBenchmark.step_10000  thrpt       13995195.387          ops/s

VirMach 便宜 VPS

QNews

QNews