近期必讀的八篇【Meta-Learning（元學習）】相關論文和代碼

• 2019 年 10 月 4 日
• 筆記

【導讀】Meta-Learning（元學習）是最新研究熱點熱，這兩年相關論文非常多，結合最新的熱點方法，在應用到自己的領域，已經是大部分研究者快速出成果的一個必備方式。元學習旨在通過一些訓練少量樣本可以學習新技能或快速適應新環境的模型！今天小編專門整理最新八篇Meta-Learning（元學習）包括NeuralPS、ICCV、EMNLP等頂會論文，涵蓋圖元學習、隱式梯度元學習等。

1、Learning to Propagate for Graph Meta-Learning（圖元學習的學習傳播）

NeuralPS 』19 ，悉尼科技大學，華盛頓大學

作者：Lu Liu, Tianyi Zhou, Guodong Long, Jing Jiang, Chengqi Zhang

摘要：元學習旨在從學習不同任務中獲得共同知識，並將其用於不可見的任務。它在訓練數據不足的任務上，如少樣本學習的任務上，顯示出明顯的優勢。在大多數元學習方法中，任務是通過共享模型或優化器隱式關聯的。在這篇論文中，我們證明了一個元學習器可以顯式地將任務與描述其輸出維度(如類)關係的圖表聯繫起來，從而顯着地提高少樣本學習的性能。這種類型的圖通常是免費或廉價獲得的，但在以前的工作中很少進行探索。我們研究了基於原型的少樣本分類，其中每個類生成一個原型，使原型之間的最近鄰搜索產生一個準確的分類。引入「門控傳播網絡(GPN)」，學會在圖上不同類的原型之間傳播消息，使學習每個類的原型受益於其他相關類的數據。在GPN中，注意機制用於聚合來自鄰近類的消息，並部署了一個gate來在聚合的消息和來自類本身的消息之間進行選擇。GPN是針對子圖抽樣生成的多樣本到少樣本的任務序列進行訓練的。在訓練期間，它能夠重用和更新以前實現的原型從記憶中在一個終身學習周期。在實驗中，我們改變了訓練-測試差異和測試任務生成設置，以進行徹底的評估。在所有的實驗中，GPN在兩個基準數據集上都優於最近的元學習方法。

網址：

https://www.zhuanzhi.ai/paper/61e36771d2ee93c416e8eb2ebed7c307

2、Meta-Learning with Implicit Gradients（隱式梯度元學習）

NeuralPS 』19 ，加州大學伯克利分校

作者：Aravind Rajeswaran, Chelsea Finn, Sham Kakade, Sergey Levine

摘要：智能系統的一個核心能力是能夠通過借鑒以往的經驗快速學習新任務。基於梯度(或優化)的元學習是近年來出現的一種有效的學習方法。在這個範式中，元參數在外部循環中學習，而特定於任務的模型在內部循環中只使用當前任務的少量數據學習。擴展這些方法的一個關鍵挑戰是需要通過內部循環學習過程進行區分，這可能帶來相當大的計算和內存負擔。利用隱式微分法，提出了隱式MAML算法，該算法只依賴於內部層次優化的解，而不依賴於內部循環優化器所採用的路徑。這有效地將元梯度計算與內部循環優化器的選擇解耦。因此，我們的方法對內部循環優化器的選擇是不可知的，並且可以優雅地處理許多梯度步驟，而不會消失梯度或內存約束。從理論上，我們證明了隱式MAML可以計算精確的元梯度，其內存佔用不超過計算單個內循環梯度所需的內存佔用，且不增加總計算成本。實驗表明，隱式MAML的這些優點可以轉化為基於少量樣本圖像識別基準的經驗增益。

網址：

https://www.zhuanzhi.ai/paper/75b6ea47af934e635108622e60e66c44

https://sites.google.com/view/imaml

3、Learning to Learn and Predict: A Meta-Learning Approach for Multi-Label Classification （學會學習和預測:一種用於多標籤分類的元學習方法）

EMNLP 』19 ，加州大學聖塔芭芭拉分校

作者：Jiawei Wu, Wenhan Xiong, William Yang Wang

摘要：自然語言處理中的許多任務都可以看作是多標籤分類問題。然而，現有的模型大多採用標準的交叉熵損失函數訓練，對所有的標籤使用固定的預測策略(如閾值0.5)，完全忽略了不同標籤之間的複雜性和依賴性。在本文中，我們提出了一種元學習方法來捕獲這些複雜的標籤依賴關係。更具體地說，我們的方法利用元學習者來共同學習不同標籤的訓練策略和預測策略。然後利用訓練策略訓練具有交叉熵損失函數的分類器，並進一步實現預測策略進行預測。基於細粒度實體分類和文本分類的實驗結果表明，該方法能夠獲得更準確的多標籤分類結果。

網址：

https://www.zhuanzhi.ai/paper/a443f941e075d1df7dbccf3b5cf55568

4、Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs （元關聯學習用於知識圖譜中少樣本鏈接預測）

EMNLP 』19 ，浙江大學

作者：Mingyang Chen, Wen Zhang, Wei Zhang, Qiang Chen, Huajun Chen

摘要：鏈接預測是完成知識圖譜(KGs)的一種重要方法，而基於嵌入的方法是KGs中鏈接預測的有效方法，但在只有少量關聯三元組的關係上，其性能較差。在這項工作中，我們提出了一個元關係學習(MetaR)框架來做KGs中常見但具有挑戰性的少量樣本鏈接預測，即通過觀察幾個關聯三元組來預測一個關係的新三元組。通過重點轉移關係相關的元信息，使模型學習最重要的知識，學習速度更快，從而解決了少樣本鏈接預測問題，分別對應於MetaR中的關係元和梯度元。從經驗上看，我們的模型在少樣本鏈路預測KG基準上取得了最先進的結果。

網址：

https://www.zhuanzhi.ai/paper/a443f941e075d1df7dbccf3b5cf55568

5、Investigating Meta-Learning Algorithms for Low-Resource Natural Language Understanding Tasks（研究低資源自然語言理解任務的元學習算法）

EMNLP 』19 ，卡內基梅隆大學CMU

作者：Zi-Yi Dou, Keyi Yu, Antonios Anastasopoulos

摘要：學習文本的一般表示是許多自然語言理解(NLU)任務的一個基本問題。以前，研究人員提出使用語言模型預訓練和多任務學習來學習魯棒表示。然而，這些方法在低資源場景下獲得次優性能。受最近基於優化的元學習算法成功的啟發，本文研究了模型無關元學習算法(MAML)及其在低資源NLU任務中的變體。我們在GLUE基準測試上驗證了我們的方法，並表明我們提出的模型可以優於幾個強基線。我們進一步的經驗證明，學習表徵可以有效地適應新的任務。

網址：

https://www.zhuanzhi.ai/paper/d7271232452b98d7ff27301681fa65e7

6、MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation （MeLU:用於冷啟動推薦的元學習用戶偏好估計器）

KDD 』19 ，韓國NCSOFT

作者：Hoyeop Lee, Jinbae Im, Seongwon Jang, Hyunsouk Cho, Sehee Chung

摘要：本文提出了一種新的推薦系統，解決了基於少量樣本物品來估計用戶偏好的冷啟動問題。為了確定用戶在冷啟動狀態下的偏好，現有的推薦系統，如Netflix，最初向用戶提供商品;我們稱這些物品為候選證據。然後根據用戶選擇的物品提出建議。以往的推薦研究有兩個局限性:(1)消費了少量商品的用戶推薦不佳，(2)候選證據不足，無法識別用戶偏好。為了克服這兩個限制，我們提出了一種基於元學習的推薦系統MeLU。從元學習中，MeLU可以通過幾個例子快速地採用新任務，通過幾個消費項來估計新用戶的偏好。此外，我們提供了一個證據候選選擇策略，以確定自定義偏好估計的區分項目。我們用兩個基準數據集對MeLU進行了驗證，與兩個比較模型相比，該模型的平均絕對誤差至少降低了5.92%。我們還進行了用戶研究實驗來驗證證據選擇策略。

網址：

https://www.zhuanzhi.ai/paper/041f96c7f86a79ebdf9399ea61405aa7

7、Meta Learning for Task-Driven Video Summarization （元學習用於任務驅動的視頻摘要）

IEEE Transactions on Industrial Electronics, 2019 ，西北工業大學

作者：Xuelong Li, Hongli Li, Yongsheng Dong

摘要：現有的視頻摘要方法主要集中於視頻數據的序列或結構特徵。然而，他們對視頻摘要任務本身並沒有給予足夠的重視。本文提出了一種基於任務驅動的視頻摘要元學習方法(MetaL-TDVS)，明確探索了不同視頻摘要過程之間的視頻摘要機制。其中MetaL-TDVS旨在通過將視頻摘要重新定義為元學習問題，挖掘視頻摘要的潛在機制，提高訓練模型的泛化能力。MetaL-TDVS將每一個視頻的總結作為一個單獨的任務，更好的利用總結其他視頻過程中學習到的經驗和知識來總結新的視頻。此外，MetaL-TDVS通過兩倍反向傳播對模型進行更新，使模型在一個視頻上得到優化，從而在每個訓練步驟中對另一個視頻獲得較高的精度。在基準數據集上的大量實驗表明，金屬- tdvs相對於幾種最先進的方法具有優越性和更好的泛化能力。

。

網址：

https://www.zhuanzhi.ai/paper/e5ecefaca79ad73526af031b6aec6fb6

8、MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning （MeLU:用於冷啟動推薦的元學習用戶偏好估計器）

ICCV』19 ，清華大學，曠視科技

作者：Zechun Liu, Haoyuan Mu, Xiangyu Zhang, Zichao Guo, Xin Yang, Tim Kwang-Ting Cheng, Jian Sun

摘要：在本文中，我們提出了一種新的元學習方法來自動剪枝非常深的神經網絡的通道。我們首先訓練一個剪枝網絡，這是一種元網絡，它能夠為給定目標網絡的任何剪枝結構生成權重參數。我們使用一種簡單的隨機結構抽樣方法來訓練剪枝網絡。然後，應用進化過程搜索性能良好的剪枝網絡。由於權值直接由訓練過的剪枝網絡生成，因此在搜索時不需要任何微調，因此搜索效率很高。通過對目標網絡的單一剪枝網絡進行訓練，我們可以在不需要人工參與的情況下搜索不同約束條件下的各種剪枝網絡。與目前最先進的剪枝方法相比，我們已經在MobileNet V1/V2和ResNet上展示了優越的性能。代碼可以在https://github.com/liuzechun/runing上找到

。

網址：

https://www.zhuanzhi.ai/paper/e5ecefaca79ad73526af031b6aec6fb6

-END-