算法 KECP 被頂會 EMNLP 收錄，極少訓練數據就能實現機器閱讀理解
作者：王嘉寧、汪誠愚、邱明輝、石秋慧、王洪彬、黃俊、高明
近日，阿里雲機器學習平台 PAI 與華東師範大學高明教授團隊合作在自然語言處理頂級會議 EMNLP2022 上發表基於 Prompt-Tuning 的小樣本機器閱讀理解算法 KECP（Knowledge Enhanced Contrastive Prompt-tuning）。KECP 是一種面向機器閱讀理解的小樣本學習算法，採用 Prompt-Tuning 作為基礎學習範式，在僅需要標註極少訓練數據的情況下，在給定文章中抽取滿足要求的文本作為答案。
論文：
Jianing Wang*, Chengyu Wang*, Minghui Qiu, Qiuhui Shi, Hongbin Wang, Jun Huang, Ming Gao. KECP: Knowledge-Enhanced Contrastive Prompting for Few-shot Extractive Question Answering. EMNLP 2022
背景
在預訓練語言模型廣泛應用的背景下，傳統的機器閱讀理解（Machine Reading Comprehension）任務通常需要大量的標註數據來微調模型（例如 BERT）。機器閱讀理解任務旨在給定一篇文章（Passage）和一個問題（Question），從文章中尋找對應問題的答案（Answer）。通常情況下，我們假設答案來自於文章中的子片段，這一任務可以進一步被稱為抽取式閱讀理解，或抽取式問答（Extractive Question Answering）。這一任務在大量深度學習應用中有廣泛的應用場景，例如任務型對話系統等。
傳統的抽取式問答採用序列標註或指針網絡的方法，獲得答案在給定文章的區間，其學習範式如下圖（a）所示：
然而，這種方法需要重頭開始學習 Preduction Head 的參數，在小樣本場景下容易過擬合。最近 Prompt-Tuning（即提示微調）相關方法的提出緩解了預訓練語言模型在低資源場景下的過擬合問題。特別地，對於 BERT 類模型，其通常是將下游任務目標轉換為預訓練目標（例如 Masked Language Modeling），以充分復用預訓練階段的先驗知識。受到這個啟發，我們將抽取式閱讀理解轉換為基於 BERT 的生成任務，如上圖（b）。
算法概述
我們提出的 KECP（Knowledge Enhanced Contrastive Prompt-tuning）模型綜合利用了模型表示的知識增強和對比學習技術，提升了小樣本學習場景下的機器閱讀理解準確度，模型架構圖如下：
模型輸入
首先，我們將問題（Question）轉換為陳述句，並通過一些啟發式規則將問題變為類似完形填空任務。例如，我們可以將問題
What was one of the Normans』major exports?
變為
[MASK] [MASK] [MASK] was one of the Normans』major exports.
其中[MASK]為待預測的 Token。最後，我們將這一陳述句和文章進行拼接在一起，形成統一的輸入序列：
知識增強的語義表達
因為訓練樣本很少時，模型的推理能力有限；因此，我們提出了知識注入方法，即給定一個知識庫（例如 Wikidata5M），我們使用實體鏈指工具識別出文章（Passage）中所有實體。在 KECP 算法中，我們提出了 Passage Knowledge Injection 模塊，將預訓練知識庫實體表徵與 Word Embedding 表徵向量通過門控單元進行向量融合：
為了避免注入過多知識引起知識噪音（Knowledge Noise）問題，我們將融合了知識的文章表徵信息聚集到問題部分挑選的 Token 中。例如，在前述示例中，我們挑選了名詞「Norman Major Exports」，我們可以通過 Self-Attention 模型將文章中的實體融合向量進一步融合到這些選定的 Token 中：
這樣，我們能獲得更好的文本表徵。
對比學習增強的模型訓練
在獲得新的表徵向量後，我們將這些表徵喂入 BERT 模型中，進行模型的訓練。我們復用了預訓練任務目標 Masked Language Modeling（MLM）。為了提高模型效果，我們採用對比學習對學習目標進行增強。在 KECP 的對比學習模塊中，正樣本為 Ground Truth，負樣本為通過知識庫檢索到文章中的一些錯誤的實體（這些實體可能會對模型預測產生混淆），損失函數如下：
KECP 協同最小化 MLM 和對比學習損失，得到最終的機器閱讀理解模型。
算法精度評測
為了評測 KECP 算法的精度，我們在一些常用的機器閱讀理解數據集上，隨機採樣 16 個樣本進行訓練，結果如下：
結果可以證明，KECP 在這些數據集上獲得不錯的效果。在未來，我們會拓展 KECP 到到 BART、T5 等生成式模型上，訓練更加通用的生成式閱讀理解模型。為了更好地服務開源社區，KECP 算法的源代碼即將貢獻在自然語言處理算法框架 EasyNLP 中，歡迎 NLP 從業人員和研究者使用。
EasyNLP 開源框架：//github.com/alibaba/EasyNLP
參考文獻
- Chengyu Wang, Minghui Qiu, Taolin Zhang, Tingting Liu, Lei Li, Jianing Wang, Ming Wang, Jun Huang, Wei Lin. EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing. EMNLP 2022
- Xiang Lisa Li, Percy Liang. Prefix-Tuning: Optimizing Continuous Prompts for Generation. ACL/IJCNLP 2021: 4582-4597
- Ori Ram, Yuval Kirstain, Jonathan Berant, Amir Globerson, Omer Levy. Few-Shot Question Answering by Pretraining Span Selection. ACL/IJCNLP 2021: 3066-3079
- Rakesh Chada, Pradeep Natarajan. FewshotQA: A simple framework for few-shot learning of question answering tasks using pre-trained text-to-text models. EMNLP 2021: 6081-6090
- Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, Omer Levy. SpanBERT: Improving Pre-training by Representing and Predicting Spans. Trans. Assoc. Comput. Linguistics 8: 64-77 (2020)
- Xiao Liu, Kaixuan Ji, Yicheng Fu, Zhengxiao Du, Zhilin Yang, Jie Tang. P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks. CoRR abs/2110.07602 (2021)
論文信息
論文名字：KECP: Knowledge-Enhanced Contrastive Prompting for Few-shot Extractive Question Answering
論文作者：王嘉寧、汪誠愚、邱明輝、石秋慧、王洪彬、黃俊、高明
論文 pdf 鏈接：//arxiv.org/abs/2205.03071
