「自然語言處理（NLP）」【愛丁堡大學】基於實體模型的數據文本生成！！
- 2020 年 2 月 12 日
- 筆記
本文主要參考：https://zhuanlan.zhihu.com/p/96020318
引言
由於大規模數據集的使用和端到端訓練的神經網路結構的應用，數據到文本生成顯示出了巨大的潛力。這些模型通過表徵學習適當地選擇內容，連貫地組織內容，並按語法對其進行描述，將實體視為辭彙標記。在這項工作中，我們提出了一個以實體為中心的神經網路架構來生成數據到文本。我們的模型創建了動態更新的特定實體表示。文本是在數據輸入和實體記憶體表示的條件下生成的，在每個時間步使用分層注意。我們在RotoWire基準上進行了實驗，並在自建的棒球域上新數據集（五倍大）。結果表明，該模型在自動評價和人工評價兩方面均優於的基準線。
本文概要
1
First Blood
2
Aced
3
Attention
正文開始
1
First Blood
TILE: Data-to-text Generation with Entity Modeling
Contributor : 愛丁堡大學
Paper: https://www.aclweb.org/anthology/P19-1195.pdf
Code: None
文章貢獻
1、提出了一種新穎的實體感知模型，以語言生成為目的，用於數據到文本的生成，不需要預處理;
2、一個用於數據到文本生成的新數據集，作者希望它將鼓勵這方面的進一步工作。
3、一項全面的評估和比較研究，重點介紹了兩個數據集上各種最近提出的數據到文本生成模型的優缺點。
文章主要內容
模型簡述
本文主要著重研究描述性文本生成。例如圖1中所示的比賽摘要。如下圖所示：
為此本文提出了一個以實體為中心的數據到文本生成的神經架構。這裡並不是將實體作為普通的標記來處理，而是創建實體特定的表示(即。它會隨著文本的生成而動態更新。模型通過解碼器生成描述性文本，解碼器為每個實體增加了一個記憶體單元和一個處理器。在解碼器中的每個時間步，處理器都會計算實體的更新表示形式，作為候選實體記憶體與其先前值之間的插值。每個處理器都是一個門控循環神經網路，並且它們之間的參數是共享的。 該模型通過分層地遍歷存儲單元及其對應的記錄來生成文本。模型具體流程圖框架圖如下所示：
上圖中，A框中主要表示實體存儲網路圖；B框和C框主要表示分層注意力圖。
實驗結果
本文貼出了在基準ROTOWIRE數據集（RW）(Wiseman et al.， 2017)上的實驗結果，該數據集包含NBA籃球比賽的統計數據和人們編寫的摘要。此外，我們還為MLB創建了一個新的數據集(參見圖1)。與ROTOWIRE相比，MLB的摘要更長(約為50%)，輸入記錄更豐富、更結構化(添加了逐場播放)。此外，MLB數據集在數據大小方面是其5倍(即，成對的表格和比賽摘要)。將我們的實體模型與一系列最近提出的神經結構進行比較，包括編碼器-解碼器模型。我們的結果表明，對實體進行明確的建模是有益的，它不僅能讓輸出更連貫，而且輸出更簡潔和語法化。
使用關係生成(RG)計數(#)和精度(P%)評估ROTOWIRE (RW)和MLB測試集，內容選擇(CS)精度(P%)和召回(R%)，標準化Damerau-Levenshtein距離(DLD%)中的內容排序(CO)和BLEU。如下圖所示：
對ROTOWIRE (RW)和MLB開發集的Ablation結果使用關係生成(RG)計數(#)和精度(P%)、內容選擇(CS)精度(P%)和回憶(R%)、標準化Damerau-Levenshtein距離(DLD%)中的內容排序(CO)和BLEU。
ROTOWIRE上NCP+CC(上)和ENT(下)的模型輸出示例。摘要中重複出現的實體是黑體和彩色編碼的，單例顯示為黑色.
在ROTOWIRE和MLB數據集中，比賽摘要中支援和反對的平均數量以及最佳縮放評估(越高越好)。
2
Aced
自然語言NLP(NLG+NLU)資料大全(持續更新....)
GitHub: https://github.com/yinizhilian/NLP_Share
相關論文集(持續更新....)
GitHub: https://github.com/yinizhilian/ACL_Paper
Attention：歡迎關注AINLPer微信公眾號，了解更多最新的關於深度學習、自然語言處理相關的知識。
