(含源碼)「自然語言處理(NLP)」Question Answering(QA)論文整理(六)
- 2020 年 3 月 31 日
- 筆記
引言
本次整理的論文還是主要偏向於機器閱讀理解的問答（MRC-QA），其中主要涉及到雙向注意流(BIDAF)網路、Gated Attention模型、AS Reader模型、問答句子識別、雙向注意機制和層次表示學習的關係圖神經網路、類人問答系統建立等。
1
First Blood
1、TILE: Bidirectional Attention Flow for Machine Comprehension Author: Minjoon Seo • Aniruddha Kembhavi • Ali Farhadi • Hannaneh Hajishirzi
Paper: https://arxiv.org/pdf/1611.01603v6.pdf
Code: https://github.com/allenai/bi-att-flow
論文簡述：機器理解(Machine comprehension, MC)主要用於回答關於給定上下文段落的查詢，它需要對上下文和查詢之間的複雜交互進行建模。最近，注意力機制已經成功地擴展到MC。通常，這些方法將注意力集中在上下文的一小部分，並以固定大小的向量、時間上的耦合注意力和/或通常形成單向注意力來進行歸納。本文介紹了雙向注意流(BIDAF)網路，這是一個多階段的分層過程，代表了不同粒度級別的上下文，並使用雙向注意流機制來獲得一個不需要早期摘要的查詢感知上下文表示。
2、TILE: Gated-Attention Readers for Text Comprehension
Author: Bhuwan Dhingra • Hanxiao Liu • Zhilin Yang • William W. Cohen • Ruslan Salakhutdinov
Paper: https://arxiv.org/pdf/1606.01549v3.pdf
Code: https://github.com/bdhingra/ga-reader
論文簡述：本文研究了文檔的封閉性問答。本文模型Gated Attention (GA)閱讀器，集成了一個多跳架構和一個新的注意機制，該機制基於查詢嵌入和遞歸神經網路文檔閱讀器中間狀態之間的乘法交互。這使閱讀器能夠在文檔中構建特定於查詢的令牌表示，以便準確地選擇答案。
3、TILE: Text Understanding with the Attention Sum Reader Network
Author: Rudolf Kadlec • Martin Schmid • Ondrej Bajgar • Jan Kleindienst
Paper: https://arxiv.org/pdf/1603.01547v2.pdf
Code: https://github.com/rkadlec/asreader
論文簡述： 本文提出了一個新的、簡單的模型，它使用注意力直接從上下文中選擇答案，而不是使用文檔中單詞的混合表示來計算答案。這使得該模型特別適合回答問題，其中答案是來自文檔的一個單詞。
4、TILE: Deep Learning for Answer Sentence Selection
Author: Lei Yu • Karl Moritz Hermann • Phil Blunsom • Stephen Pulman
Paper: https://arxiv.org/pdf/1412.1632v1.pdf
Code: https://github.com/brmson/dataset-sts
論文簡述： 選擇答案句的任務是識別包含給定問題答案的句子。本文提出了一種新的分散式表示方法來解決這一問題，並通過語義編碼來學習問題與答案的匹配。這與之前在這項任務上的工作形成對比，後者通常依賴於具有大量手工編製的語法和語義特徵以及各種外部資源的分類器。本文的方法不需要任何特徵工程，也不涉及專業的語言數據，使得這個模型很容易適用於廣泛的領域和語言。
5、TILE: Relational Graph Representation Learning for Open-Domain Question Answering
Author: Salvatore Vivona • Kaveh Hassani
Paper: https://arxiv.org/pdf/1910.08249v1.pdf
Code: None
論文簡述： 本文介紹了一種具有雙向注意機制和層次表示學習的關係圖神經網路用於開放域問題的求解。本文模型可以通過聯合學習和更新查詢、知識圖和文檔表示來學習上下文表示。實驗表明，該模型在WebQuestionsSP基準測試中達到了最新的水平。
6、TILE: Natural Language Generation at Scale: A Case Study for Open Domain Question Answering
Author: Aless Cervone • ra • Ch Khatri • ra • Rahul Goel • Behnam Hedayatnia
Paper: https://www.aclweb.org/anthology/W19-8657.pdf
Code: None
論文簡述： 本文通過一個編碼器-解碼器框架，並使用真實用戶和開放域QA會話代理之間交互的大型數據集來建模NLG。首先，研究了增加時隙類型數量對生成品質的影響，並使用逐漸增大的本體（多達369個時隙類型）對QA數據的不同分區進行了實驗。其次，在開放域QA和面向任務的dialog之間進行了多任務學習實驗，並在一個流行的NLG數據集上對本文模型進行了基準測試。此外，我們還嘗試使用會話上下文作為附加輸入來提高響應生成品質。實驗證明了在更大本體的開放領域QA中學習統計NLG模型的可行性。
7、TILE: Conversational AI : Open Domain Question Answering and Commonsense Reasoning
Author: Kinjal Basu
Paper: https://arxiv.org/pdf/1909.08258v1.pdf
Code: None
論文簡述： 本文研究重點是建立一個能合理回答問題的類人問答系統。本文方法的顯著特點是，它將使用自動的常識推理來真正「理解」對話，允許它像人一樣交談。人類在交談中常常會做出許多假設。我們用常識推斷出沒有明確說明的事實。在問答系統中加入常識性知識只會使其更加健壯。
8、TILE: FriendsQA: Open-Domain Question Answering on TV Show Transcripts
Author: Zhengzhe Yang • Jinho D. Choi
Paper: https://www.aclweb.org/anthology/W19-5923.pdf
Code: None
論文簡述： 本文介紹了一個具有挑戰性的問題回答數據集FriendsQA，該數據集包含1222個對話和10610個開放域問題，用於解決機器對日常會話的理解。每個對話都有多個說話者參與，每個對話都用關於對話上下文的幾種類型的問題進行注釋，並且答案在對話中以一定的跨度進行注釋。為了保證良好的注釋品質，進行了一系列眾包任務，使得注釋器間的一致性達到了81.82%。
