【NLP】用膩了 CRF，試試 LAN 吧？

  • 2019 年 12 月 6 日
  • 筆記

作者：Tobias Lee

來自：AINLP公眾號

知乎專欄：NLPer 的成長之路

原文鏈接，可點擊文末"閱讀原文"直達：

https://zhuanlan.zhihu.com/p/91031332

西湖大學在 EMNLP 2019 上提出了一種序列標註模型，在比 BiLSTM-CRF 訓練解碼速度更快的情況下，取得了更高的精度。

論文鏈接: arxiv.org/abs/1908.08676 源碼鏈接: Nealcly/BiLSTM-LAN（https://github.com/Nealcly/BiLSTM-LAN）

1. 序言

統計自然語言處理中，條件隨機場（Conditional Random Field）在詞性標註，命名實體識別，中文分詞等序列標註任務上都取得了驚人的效果。然而在深度學習時代，很多情況下 BiLSTM-CRF 並沒有比不對輸出序列進行建模的 BiLSTM-softmax 取得更好的效果。一個可能的原因是神經網路編碼器已經有很強的序列資訊編碼能力，在此基礎上 CRF 並沒有引入更多的有效資訊。 為了更好的對輸出序列進行編碼，論文中提出了一種逐層改進的基於標籤注意力機制的網路(Hierarchically-Refined Label Attention Network)。該模型通過利用標籤知識，更好的捕捉標籤間長期的依賴關係。在英文詞性標註，命名實體識別和組合範疇語法超標註的任務上，BiLSTM-LAN 在比 BiLSTM-CRF 訓練解碼速度更快的情況下，取得了更好的效果。 如下圖所示，以詞性標註為例，對輸入句子 "They can fish and also tomatoes here"， 第一層中，模型通過局部資訊對每個單詞詞性進行判斷，傾向於判斷 "can" 為情態動詞(MD)，"fish" 為動詞(VB)。在經過多層LAN資訊交互以後，長期標籤依賴關係被考慮以後，"tomatoes"為名詞的資訊幫助模型對 "can" 和 "fish" 的詞性進行重新判斷，認定 "can" 和 "fish" 應為動詞(VB)和名詞(NN)。

示意圖

2. 模型 下圖模型中包含了兩層 BiLSTM-LAN。每一個 BiLSTM-LAN 由對序列資訊進行編碼的 BiLSTM Encoding Layer 和對標籤資訊進行推理的 Label Attention Inference Layer 組成。

LAN-Model

BiLSTM Encoding Layer 為標準的 BiLSTM，定義其輸出為

。Label Attention Inference Layer 首先通過計算詞表示

與所有候選標籤

的 attention 生成

，其中

為序列長度，為

候選標籤個數,

為 BiLSTM 隱層緯度。

表示每個詞對每個標籤的概率分布。最終我們將蘊含標籤資訊的

與蘊含詞資訊的

拼接並輸入到下一個 BiLSTM-LAN 層。在之後的 BiLSTM-LAN 中輸入文本的序列表示和輸出標籤的序列表示分布同時被 BiLSTM 編碼，底層的 BiLSTM-LAN 學習到局部的資訊，頂層 BiLSTM-LAN 學習到更加全局的資訊。在最後一層，BiLSTM-LAN 直接根據預測每個詞的標籤。 BiLSTM-LAN可以被看成一種 BiLSTM-softmax 的變種。一層BiLSTM-LAN與一層BiLSTM-softmax 完全相同。然而多層 BiLSTM-softmax 僅僅疊加BiLSTM以期更好的編碼輸入序列資訊。BiLSTM-LAN可以理解為即疊加了BiLSTM也疊加了softmax，用來更好的學習輸入和輸出序列的表示。

3. 實驗 本文在詞性標註(WSJ, UD v2.2)，命名實體識別(OntoNotes 5.0)和組合範疇語法超標註(CCGBank)上進行了實驗。

其中，*表示利用多任務與半監督學習取得的結果

4. 分析 4.1 標籤可視化 論文使用t-SNE對詞性標註的標籤向量進行了可視化分析。

訓練開始前，所有標籤隨機分散到空間內。模型訓練5輪後，可以看到"NNP"和"NNPS"，"VBD"和"VBN"等相似詞性聚集到一起。在訓練38輪後，幾乎所有相似的詞性被聚集到了一起，例如"VB","VBD","VBN","VBG"和"VBP"。

4.2 超標籤複雜度 為了驗證BiLSTM-LAN捕捉長距離標籤依賴關係的能力，論文中對不同複雜度的超標籤標註準確率進行了分析。

越複雜的超標籤需要更長期的標籤依賴關係進行判斷。隨著複雜度的增加，BiLSTM-CRF 並沒有比 BiLSTM-softmax 表現的好，然而 BiLSTM-LAN 表現顯著高於其他模型。

4.3 案例分析 下圖是不同模型的預測結果，錯誤部分使用黃色標註。

由於進行局部預測，BiLSTM-softmax 並不能捕捉到 "settled" 和 "at" 的關係。BiLSTM-CRF在出現"/PP"後，由於馬爾科夫假設，預測 "with" 為 "PP/NP"。可以看出，BiLSTM-LAN 基於全局資訊更好地進行了預測。

5. 總結

理論和序列標註實驗結果證明，BiLSTM-LAN 通過對所有候選標籤進行編碼的方式，很好的捕捉了標籤間長期依賴關係，並在一定程度上解決了標註偏執問題。在比BiLSTM-CRF訓練解碼速度更快的情況下，在詞性標註，命名實體識別和組合範疇語法超標註任務上可以達到更高的精度。


		  				

		  				

													

							

																
Tags:  

																

								

							

						

						
					

					
									

													
													
											


			



	

		
VirMach 便宜 VPS