動態 | 百度發佈NLP模型ERNIE，基於知識增強，在多個中文NLP任務中表現超越BERT

2019 年 11 月 1 日
筆記

AI 科技評論消息，Google 近期提出的 BERT 模型，通過預測屏蔽的詞，利用 Transformer 的多層 self-attention 雙向建模能力，取得了很好的效果。但是，BERT 模型的建模對象主要聚焦在原始語言信號上，較少利用語義知識單元建模。這個問題在中文方面尤為明顯，例如，BERT 在處理中文語言時，通過預測漢字進行建模，模型很難學出更大語義單元的完整語義表示。例如，對於乒 [mask] 球，清明上 [mask] 圖，[mask] 顏六色這些詞，BERT 模型通過字的搭配，很容易推測出掩碼的字信息，但沒有顯式地對語義概念單元 (如乒乓球、清明上河圖) 以及其對應的語義關係進行建模。

設想如果能夠讓模型學習到海量文本中蘊含的潛在知識，勢必會進一步提升各個 NLP 任務效果。基於此，百度提出了基於知識增強的 ERNIE 模型。

ERNIE 通過建模海量數據中的詞、實體及實體關係，學習真實世界的語義知識。相較於 BERT 學習局部語言共現的語義表示，ERNIE 直接對語義知識進行建模，增強了模型語義表示能力。

例如以下例子：

Learned by BERT ：哈 [mask] 濱是 [mask] 龍江的省會，[mask] 際冰 [mask] 文化名城。 Learned by ERNIE：[mask] [mask] [mask] 是黑龍江的省會，國際 [mask] [mask] 文化名城。

在 BERT 模型中，通過『哈』與『濱』的局部共現，即可判斷出『爾』字，模型沒有學習與『哈爾濱』相關的知識。而 ERNIE 通過學習詞與實體的表達，使模型能夠建模出『哈爾濱』與『黑龍江』的關係，學到『哈爾濱』是『黑龍江』的省會以及『哈爾濱』是個冰雪城市。

訓練數據方面，除百科類、資訊類中文語料外，ERNIE 還引入了論壇對話類數據，利用 DLM（Dialogue Language Model）建模 Query-Response 對話結構，將對話 Pair 對作為輸入，引入 Dialogue Embedding 標識對話的角色，利用 Dialogue Response Loss 學習對話的隱式關係，進一步提升模型的語義表示能力。

通過在自然語言推斷、語義相似度、命名實體識別、情感分析、問答匹配 5 個公開的中文數據集合上進行效果驗證，ERNIE 模型相較 BERT 取得了更好的效果。

1. 自然語言推斷任務 XNLI

XNLI 由 Facebook 和紐約大學的研究者聯合構建，旨在評測模型多語言的句子理解能力。目標是判斷兩個句子的關係（矛盾、中立、蘊含）。

鏈接：https://github.com/facebookresearch/XNLI