12nm媲美7nm!國產晶片創紀錄
12月7日,AI創業公司燧原科技(Enflame)發布了第二代雲端AI推理加速卡——「雲燧i20」。
這是繼今年7月的雲端AI訓練加速卡「雲燧T20」之後,燧原科技新一代針對雲端推理場景的AI加速產品。
雲燧i20最大亮點就是擁有迄今最大的AI加速卡存儲頻寬,通過HBM2e記憶體達到了819GB/s,可為雲端推理業務提供高吞吐、低延時的性能。
目前,以語音識別、圖片識別、影片內容分析為主的感知類應用,內容推薦、欺詐交易攔截等決策類應用,在雲端大部分都是以實時在線的方式提供服務,同時神經網路的參數越來越多,數據頻寬需求也越來越高,因此兼顧高頻寬、低延遲變得至關重要。
雲燧i20搭載了新一代AI推理晶片「邃思」,基於第二代高性能計算核心和數據引擎,12nm製程打造,通過架構升級大大提高了單位面積的電晶體效率,算力可媲美7nm GPU,而且成本更低。
同時,全面支援FP32、TF32、FP16、BF16、INT8的計算精度,其中單精度FP32峰值算力32TFLOPS,單精度張量TF32峰值算力128TFLOPS,整型INT8峰值算力256TOPS,對比上代雲燧i10浮點、整型算力分別提升到1.8倍、3.6倍。
搭配升級後的軟體棧「馭算TopsRider」,性能、開發效率、模型覆蓋面都得到大幅提升。
通過引入通用高層圖優化和大規模運算元融合技術,釋放大容量片記憶體儲和高頻寬存儲的利用率,模型平均性能提升3.5倍,硬體算力利用率平均提升2倍。
通過升級的編程模型以及運算元自動分片、自動生成技術,自定義運算元開發效率翻倍,模型遷移成本大大降低。
此外,對動態性的支援也大大增強,在檢測、語音識別、語義理解等場景更具競爭力。
據介紹,燧原科技專註AI領域雲端算力平台,提供自主知識產權的高算力、高能效比、可編程的通用AI訓練和推理產品,可廣泛應用於雲數據中心、超頻中心、互聯網、金融、智慧城市等多個人工智慧場景,已在互聯網、金融、政務等多家客戶的商業落地,並獲得認可。