ICLR 2020 | 告別死記硬背，元學習才能學會學習
- 2020 年 4 月 19 日
- AI
論文: //openreview.net/pdf?id=BklEFpEYwS
程式碼: //github.com/google-research/google-research/tree/master/meta_learning_without_memorization
讓我們回顧片刻在學校學習的經歷。每一天我們去上課，回答老師的問題；回家後我們解答作業問題，對照答案檢查正確與否。日積月累，我們不僅學到了知識，更學會了如何學習 (learning to learn)。當面對新任務時，我們可以利用之前解決問題的經驗並加上少量的練習，迅速學會新的技能。這種 「快速適應 (fast adaptation)」 能力被認為是智慧的重要體現。在人工智慧領域，元學習 (meta-learning) 是一種使機器 「學會學習」 的有效手段。
在這篇論文里，我們發現一個表徵能力強大的人工神經網路除了 「快速適應」 外，還可以通過 「記憶」 的方式來解決訓練集里的多項任務。不幸的是，一個只會記憶的神經網路不具備解決新任務的能力。這篇論文旨在提出、定義、分析元學習中的記憶問題，並提出新的元正則化方法 (meta-regularization) 以避免記憶問題。
中生成多個任務。每個任務都由一個帶標註的任務內訓練數據 
和測試數據
組成。我們用 
代表所有用於元訓練（meta-training）的數據，
代表一個元測試階段的新任務。
上訓練模型, 目標是當面對新任務時，它能夠在少量訓練數據
上實現快速適應，從而準確預測新任務測試數據
的標籤。這個過程可以表示為一個層次型的圖模型：
緊密相關。我們發現，如果各任務是互斥的（mutually exclusive），意即一個單一預測模型不可以解決所有的任務，那麼記憶問題不會出現。例如小樣本分類（few-shot classification）廣泛地利用了這個特性。但在很大一類問題中，各任務不互斥，因此記憶問題廣泛存在，並會影響多種元學習演算法。
, 任務內訓練數據
和輸入
。因此如果能夠控制來自和的資訊，同時要求實現精確預測，就可以鼓勵模型利用中的資訊而不是忽略它。利用資訊不等式和PAC-Bayes理論，我們得出一種方式是利用資訊瓶頸（information bottleneck）約束：
對應編碼器 (encoder): 
的參數。將以上元正則項 (Meta Regularization)和Model Agnostic Meta-Learning (MAML)，Conditional Neural Process (CNP) 相結合， 我們提出了新的 「MAML先生」 (MR MAML) 和 「CNP先生」 (MR CNP) 演算法。在幾個非互斥任務的數據集上，我們的演算法實現了大幅度的性能提升。在一個3D物體方向預測數據集上我們進行了實驗：
-
記憶問題廣泛存在於元學習問題和元學習演算法中 -
記憶問題是一種任務層面的過擬合，這不同於傳統上數據點層面的過擬合 -
通過元正則方法我們有效地控制了記憶問題，並拓展了元學習的應用場景
