全球首個！百度發布「千億」級別新物種壓縮率可達99.98%

12月8日，鵬城實驗室與百度聯合召開發布會，正式發布雙方共同研發的全球首個知識增強千億大模型——鵬城-百度·文心（模型版本號：ERNIE 3.0 Titan）。

據了解，該模型參數規模達到2600億，是目前全球最大中文單體模型，在60多項任務上取得最好效果。

同時，百度產業級知識增強大模型「文心」全景圖首次亮相，從技術自主創新和加速產業應用兩方面，推動中國AI發展更進一步。

中國工程院院士、鵬城實驗室主任高文在致辭中表示，「預訓練模型對整個科學的發展、社會的發展、創新的發展都是非常重要的工具。運用這個工具，可以幫助做很多人工智慧的賦能，不局限於某個領域，這對人工智慧的發展都是一個福音。」

鵬城-百度·文心是「全球首個知識增強千億大模型」，在機器閱讀理解、文本分類、語義相似度計算等60多項任務取得最好效果，並在30餘項小樣本和零樣本任務上刷新基準。

鵬城-百度·文心成功發布的背後，得益於鵬城實驗室的算力系統「鵬城雲腦 Ⅱ」和飛槳深度學習平台的強強聯手，解決了超大模型訓練的多個公認技術難題，使鵬城-百度·文心訓練效率大幅提升，模型效果更優。

其中，「鵬城雲腦Ⅱ」是國產自主的首個E級AI算力平台，曾在多個國際性能測試上獲得冠軍。而飛槳是中國首個自主研發的深度學習開源開放平台。

為解決大模型應用落地難題，百度團隊首創大模型在線蒸餾技術，模型參數壓縮率可達99.98%。壓縮版模型僅保留0.02%參數規模就能與原有模型效果相當，為產業大規模應用打開新窗口。

目前，百度文心通過百度飛槳平台陸續對外開源開放，並已大規模應用於百度搜索、資訊流、智慧音箱等互聯網產品，同時通過百度智慧雲賦能工業、能源、金融、通訊、媒體、教育等各行各業。

在金融領域，基於百度文心實現了合約智慧解析，能夠在1分鐘內完成對相關合約條款文本的解析識別，速度是之前的幾十倍，大大提升了工作效率。百度智慧雲的智慧客服也基於百度文心提升了服務的精準性，目前已經在中國聯通、浦發銀行等企業應用，拓展到全國各地。