今日 Paper | CopyMTL；情感分析模型；膠囊網路；XTREME等

• 2020 年 4 月 19 日
• AI
• 影像識別

CopyMTL: 命名實體識別和關係抽取多任務學習聯合模型中的複製機制

學習(what,how,why)三元組: 一種幾乎完美的基於方面的情感分析模型

膠囊網路來解釋你喜歡什麼不喜歡什麼

XTREME：一個大規模的多語言多任務基準測試 用於評估跨語言概括

使用深度神經網路和組合優化對生理訊號進行切分和最優波段選擇

論文名稱：CopyMTL: Copy Mechanism for Joint Extraction of Entities and Relations with Multi-Task Learning

作者：Daojian Zeng /Haoran Zhang /Qianying Liu

發表時間：2019/11/24

論文鏈接：//paper.yanxishe.com/review/15955

推薦原因

CopyRE是一種基於seq2seq結構的非常優秀的關係抽取模型，作者針對CopyRE存在的首尾實體(head and tail entities)無法區分、無法匹配多字元實體(multi-tokens entity)的問題進行了分析，並且提出了自己的改進模型CopyMTL。

作者詳細的講解了CopyRE的原理，並從理論的角度分析了CopyRE存在如上問題的原因，進而使用以selu為激活函數的全連接層解決了首尾實體無法區分的問題，使用結合了NER的多任務學習來解決無法匹配多字元實體的問題，同時在多個數據集上達到了SOTA。

這裡使用多任務學習來優化CopyRE，並且給出了程式碼，從文章上來看，應該是根據CopyRE作者的程式碼進行改進的，對於想利用多任務學習來優化自己模型的同學有很大的參考意義

此外，提個疑問，如果反過來，是不是也可以使用copy mechanism來優化基於序列標註的關係抽取模型呢？

論文名稱：Knowing What, How and Why: A Near Complete Solution for Aspect-based Sentiment Analysis

作者：Haiyun Peng /Lu Xu /Lidong Bing /Fei Huang /Wei Lu /Luo Si

發表時間：2019/11/5

論文鏈接：//paper.yanxishe.com/review/16070

推薦原因

本文的核心內容是由阿里巴巴達摩研究院提出的一個三元組抽取模型，並以此將方面資訊抽取(aspect extraction)、方面所屬情感種類(aspect term sentiment classification)、態度詞(opinion term extraction)等子任務合併在一個模型中解決。其主要的思路是定義一個包含了方面、情感、態度詞資訊的三元組

本文在模型設計方面有很多值得深思的亮點，簡單說幾個讓我印象最深的，其一，第一個序列標註任務僅標註邊界資訊(boundary information)，同時利用邊界資訊，在方面序列標註任務使用了softmax作為輸出，而不是CRF。其二，針對態度詞的的特點，在其序列標註任務中，先使用了一個GCN(Graph Convolutional Network)來學習其語義資訊。其三，利用方面序列標註任務的資訊來指導態度詞序列標註任務。此外還有精心設計的BLSTM模型結構、多義詞處理、預訓練詞向量等。

這個模型在各個子任務中都達到了SOTA，作者開源了一些三元組數據，但是沒有提供完整的程式碼。

論文名稱：A Capsule Network for Recommendation and Explaining What You Like and Dislike

作者：Chenliang Li

發表時間：2019/2/1

論文鏈接：//paper.yanxishe.com/review/14886

推薦原因

本文主要研究目的和創新點：

本文針對用戶的評論來預測用戶的喜好，主要用在推薦系統中。目前已經有很多相關的研究，但是在採用深度學習建模的過程中，根據用戶持有的觀點依舊很難理解用戶的喜好。在此基礎上作者嘗試性將用戶持有的觀點與對應的商品屬性作為一個邏輯單元，對用戶的評論進行挖掘，並進行用戶喜好預測。為此，本文提出了一種基於帶有用戶評論的收視率預測模型，稱為CARP。對於每個用戶對，設計CARP來提取資訊邏輯，並推斷出相應的情感。為了驗證模型效果，作者分別在7個真實數據集上進行了大量實驗，實驗表明，該模型對於用戶喜好的預測精度有較大提升。

論文名稱：XTREME: AMassively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization

作者：Junjie Hu / Sebastian Ruder /Aditya Siddhant /Graham Neubig /Orhan Firat

發表時間：2020/3/27

論文鏈接：//paper.yanxishe.com/review/15688

推薦原因

核心問題：基準測試可以評估各種任務的模型，但是基準測試大多僅限於英語，所以缺少能夠對各種語言和任務進行此類方法的綜合評估的基準測試。通過英語測試的模型可以在許多任務上達到人類的表現，但跨語言轉移的模型的表現仍然存在較大差距。

創新點：本論文介紹了多語言編碼器的跨語言轉換評估—XTREME 基準。作為一個多任務基準，XTREME 可以用於評估 40 種語言和 9 個任務的多語言表示形式的跨語言概括能力。

研究意義：他們發布了基準測試結果，以鼓勵研究跨語言學習方法，希望這些方法可以跨各種代表性的語言和任務傳遞語言知識。

論文名稱：Segmentation and Optimal Region Selection of Physiological Signals using Deep Neural Networks and Combinatorial Optimization

作者：Jorge Oliveira /Margarida Carvalho /Diogo Marcelo Nogueira /Miguel Coimbra

發表時間：2020/3/17

論文鏈接：//paper.yanxishe.com/review/14660

推薦原因

1 核心問題

本文解決的是如何自動提取生理訊號最優波段來輔助後續診斷和預測的問題。

2 創新點

本文使用神經網路去計算每個樣本的狀態概率分布，然後構造出一張圖，同時在圖中加入狀態轉換限制，並根據最大化用戶提出的似然函數去使用一組約束來檢索生理訊號記錄的子集。

3 研究意義

生理訊號經常會被噪音干擾。通常情況下，人工智慧演算法會在無視品質的情況下對之進行整體分析。與之相反的是，醫師則並不分析整個記錄，而是會搜尋容易檢測到基本波動和異常波動的波段進行分析，然後才進行預測。因此，受到以上事實啟發，本文提出了一個基於用戶自定標準，為後期處理自動選擇最優波段的演算法。本文將提出的方法使用在兩個實際應用場景中，並且取得了很好的效果。

現AI 研習社已經和阿里大文娛、曠視、搜狗搜索、小米等知名公司達成聯繫，為幫助大家更好地求職找工作，社區成立了AI求職內推社群，找工作找實習的小夥伴可以掃碼進群了，也歡迎在讀的同學來交流學習。如群滿請加微信「vdou602」備註「求職內推」入群。