【廣告技術】使用圖神經網絡進行信息聚合與推理,解決多證據事實驗證問題

  • 2020 年 12 月 16 日
  • AI

【Wiztalk騰訊廣告專場】系列分享來襲,第三期由清華大學計算機系副教授、博士生導師劉知遠老師與清華大學計算機系碩士生周界為大家深度介紹《基於圖結構的事實驗證》


從淺顯的文本處理走向推理和判斷

隨着自然語言處理(NLP)技術的逐漸發展成熟、文本語料數據的不斷積累,我們能設計、訓練出越來越強大的NLP模型,越來越多的語言相關任務也已經從人工轉向了由NLP模型自動處理,各種語言互譯的機器翻譯就是最典型、最常見的例子。不過也有一些更高級的NLP應用需要的不僅是更多的語料數據,還需要更準確的語料數據,比如知識圖譜建立、基於文本的開放問答,都需要文本語料真實、可信,才能得到好的結果。

在這樣的背景下,事實驗證(Fact Verification)這個問題近年來逐漸被重視起來。事實驗證是指,給出一條陳述以後,要根據若干條線索判斷這條陳述是「得到支持」的、「和證據不符」的、還是「信息不足無法判斷」的,簡單來說就是真假判斷。

除了為其它的NLP應用服務以外,驗明真偽這件事本身在這個自媒體發達、網絡上的信息快速更新發酵的時代也有很大作用 —— 很多人根據大眾的心理期待編造假消息,即便讀者當時看得開心,但假消息始終都是不應當被鼓勵的,也可能會對涉及到的人和事造成實際的傷害。

事實驗證的難點

許多陳述的真假判斷都需要基於多條不同的證據綜合判斷,這正是這個任務的難點。一個例子比如:

例1

陳述:電視劇《Giada at Home》只能通過購買DVD觀看。

證據1:《Giada at Home》是一部Food電視台在2018年10月首映的電視劇。

證據2:Food電視台是一家美國的有線電視和衛星電視頻道。

想要判斷給出的這條陳述是否正確,不僅沒法通過證據1或者證據2中的某一條單獨判斷,在聯合運用這兩條證據的時候也不那麼簡單,需要根據兩條證據之間的聯繫重新組織邏輯關係,相當於構造出含有新的信息的新證據,然後再據此判斷。

在實際的自動化檢測中,我們的證據抽取模塊並不能總是抽取出能夠幫助驗證的證據,它們往往會引入一些噪聲,如何處理抽取證據中的噪聲也是這個問題的另一個挑戰,請看例2。

例2

陳述:Al Jardine 是一位美國節奏吉他手。

證據1:他最廣為人知的身份是樂隊的節奏吉他手,他偶爾也會在「Help Me, Rhonda」、「Then I Kissed Her」、「Come Go with Me」等單曲中擔任主唱。

證據2:Alan Charles Jardine(1942年9月3日出生)是一位美國音樂家、歌手、作曲家,而且他和別人一同成立了The Beach Boys樂隊。

證據3:2010年,Jardine 發佈了他的首張個人獨唱專輯,名為《A Postcard from California》。

證據4:1988年,Jardine 作為The Beach Boys樂隊的一員入選了搖滾名人堂。

證據5:Ray Jardine,美國攀岩選手,輕裝背包客,發明家,作家以及全球探者。

在這個例子中,只需要聯合證據1、2就可以判斷出給出的陳述是「得到支持」的,其它三條證據都派不上用場,而證據5甚至是另一個人物的相關介紹。

當前的大多數事實驗證方法的處理能力並不理想,它們要麼每次只能處理一條陳述和一條證據,要麼只能簡單地把不同的證據文本依次串聯到一起(以便把多條證據合併為一條證據來處理),所以它們經常無法從線索中捕捉到足夠多的關係和邏輯信息。

上面的例1和例2,都沒辦法單獨根據某一條證據做出判斷,簡單把證據串聯往往也會引入很多噪聲,模型必須要在理解語義、找到邏輯關係的基礎上才能進行判斷。為了能夠綜合整合不同證據之間的有用信息、形成新的邏輯鏈條並完成判斷,清華大學劉知遠老師團隊設計了一個運用圖結構的GEAR模型,可以很好地完成複雜的事實驗證任務。

事實驗證任務簡介:

基於圖結構的事實驗證-1_騰訊視頻v.qq.com圖標

在先進的語言表徵下讓邏輯關係開花結果

GEAR模型的全稱是Graph-based Evidence Aggregating and Reasoning,正如其名,它的設計和運行基於圖(graph),並且它能執行證據的聚合和推理

在GEAR模型中首先會構造一個全連接的證據圖,並且鼓勵證據之間傳播信息。接着,模型會通過圖注意力機制聚合證據片段,並通過一個分類器來判斷現有證據對陳述的支持程度,即「得到支持」、「和證據不符」、還是「信息不足無法判斷」。直覺上來說,只需要讓證據中含有的信息做足夠多的交換和推理,交匯的信息、有關聯的邏輯鏈條就會自然浮現,這個模型就能夠做出合理的判斷了。用來聚合證據判斷的注意力機制也能優先提取出含有有效信息的證據句子,避免被多餘的、無關的證據句子干擾。

不過這還不夠,自然語言畢竟具有一定的靈活性,同樣的意思也許換一個方式表達,模型就理解不了了。好在現在我們有相對簡單的方法來解決這個問題,那就是使用優秀、有效的預訓練語言表徵模型,比如BERT。所有的輸入句子首先要提取BERT表徵,然後再進入後續的處理流程,模型就能對證據中的信息以及要判斷的陳述中的信息都做出更準確的處理。

作者們在採集自維基百科的FEVER事實提取及驗證數據集上對GEAR模型進行了測試,不僅真假判斷的準確率可以比以往的模型提升3%到4%,而且這個模型在需要多條證據聯合推理的樣本中能夠取得更好的效果。

基於證據圖的聚合與推理框架&事實驗證任務前沿進展:

基於圖結構的事實驗證-2_騰訊視頻v.qq.com圖標

GEAR模型應用

GEAR模型有能力根據大量的文本材料判斷給出的句子的真偽,它首先可以用來鑒別網絡上的各種信息。尤其一些自媒體會編造各種吸引眼球、但並不真實的虛假信息,GEAR可以幫助網絡媒體平台更快地核實並阻止虛假信息蔓延。GEAR也可以為知識圖補全、開放領域問答等任務進行知識庫文本的驗證,提升後續流程以及最終結果的準確性。

通過圖結構的使用,GEAR模型有基於多條材料綜合分析判斷的能力。在這一點的基礎上進行拓展,可以進一步開發出適用於別的場景的模型,比如將用戶在不同平台上的行為數據看做「證據」,綜合分析後有機會挖掘出更準確的用戶屬性,從而對給出的用戶行為進行「驗證」,判斷當前用戶行為的可信度,從而對在線廣告業務提供一定的幫助。

值得一提的是,由於GEAR模型的設計中用到了圖神經網絡的一些知識和方法,所以作者團隊也撰寫了一篇關於圖神經網絡的文獻綜述,梳理了現有的圖神經網絡模型的發展脈絡、介紹了不同模型的特點、系統分類了不同模型的應用,並提出了這個方向未來發展需要面對的四個開放性問題。

詳細閱讀原文可見《Graph Neural Networks: A Review of Methods and Applications》。arxiv.org/abs/1812.0843

點擊鏈接查看完整講座。

Wiztalk是騰訊高校合作組織的系列產學融合知識分享講座,鼓勵用更加科普式的知識傳播方式,講解近代及當代技術發展中的大事件,讓讀者能夠系統性了解在過去、現在、未來中,科學研究如何為人類的社會發展創造更多可能性。


拓展閱讀

騰訊廣告算法大賽:【廣告技術】揭秘!騰訊廣告是如何有效劃分用戶群體的zhuanlan.zhihu.com圖標騰訊廣告算法大賽:【廣告技術】用張量分解預測廣告庫存,廣告投放更可靠!zhuanlan.zhihu.com圖標騰訊廣告算法大賽:追蹤廣告效果&保護用戶隱私 —— 隱私集合交集算法可以得兼zhuanlan.zhihu.com圖標