圖靈獎得主Bengio提出並開源圖馬爾科夫神經網絡 | ICML2019

• 2019 年 10 月 4 日
• 筆記

新智元推薦

來源：機器學習blog（ID：mlanddlanddm）

【新智元導讀】本文主要研究關係數據中的半監督對象分類，該問題在關係數據建模中是比較基本的問題。在基於統計的關係學習（如關係馬爾科夫網絡）和圖神經網絡（如圖卷積網絡）的相關文獻中，對該問題進行了廣泛的研究。

基於統計的關係學習方法，利用條件隨機場能夠學習對象標籤之間的依賴性，然後進行集體分類，而圖神經網絡能夠進行端到端的訓練。這篇文章提出了圖馬爾科夫神經網絡（GMNN），該網絡能夠結合二者的優勢。

題目：GMNN: Graph Markov Neural Networks

作者：Meng Qu，Yoshua Bengio，Jian Tang

Montreal Institute for Learning Algorithms (MILA), University of Montreal, Canadian Institute for Advanced Research (CIFAR), HEC Montreal

論文地址：http://proceedings.mlr.press/v97/qu19a/qu19a.pdf

GMNN用條件隨機場對對象標籤的聯合分佈進行建模，其中條件隨機場能夠利用變分EM（期望最大）算法進行有效訓練。

在E -Step中，圖神經網絡能夠學到有效的對象表示，該表示能夠近似對象標籤的後驗分佈。在M -Step中，另一個圖神經網絡用於對局部標籤依賴進行建模。

在對象分類、鏈路分類和無監督節點表示學習上的實驗表明，GMNN 取得了最好的結果。

基於條件隨機場的方法有一些不足，比如

（1）這些方法通常將條件隨機字段中的勢函數定義為某些人工設計的特徵函數的線性組合，這些函數是啟發式的。而且，這種模型的表達能力比較有限。

（2）由於對象之間的關係結構比較複雜，對未標記對象的標籤的後驗分佈進行推斷仍然具有一定的挑戰性。

基於圖的神經網絡也有一些不足，一個關鍵的限制即為對象的標籤是根據其表示形式獨立預測的，如此一來，對象標籤之間的聯合依賴項會被忽略。

在變分EM框架中，E-step用於推理，M-step用於學習。在學習過程中，GMNN的訓練過程不是最大化似然函數，而是優化偽似然函數，並利用圖神經網絡對對象標籤的局部條件分佈進行建模。這種圖神經網絡能夠比較好地學習對象標籤的依賴性，並且不需要人工設計勢函數。

在推理過程中，由於精確推理比較難解，可以利用均值場近似值來解決。

受攤銷推理的啟發，作者們利用另一個圖神經網絡對對象標籤的後驗分佈進行建模， 進而可以學習有用的對象表示用於預測對象的標籤。在推理過程中，利用圖神經網絡，可以顯著減少參數的數量，並且在推理中的不同對象之間可以共享統計證據。

半監督對象分類的問題描述如下

簡言之即為，已知部分標籤推測未知的標籤。

在統計關係學習中，問題描述如下

在圖神經網絡中，問題描述如下

由於很多對象的標籤是未知的，因此可以將最大化對數似然函數轉化為求其證據下界（ELBO），此時求解可以交替執行變分E-Step和M-Step。

為了避免計算配分函數，可以優化下面的偽似然函數，該似然函數基於樣本點的鄰域樣本集。

在推理過程中，由於標籤之間的複雜依賴關係，直接推理後驗分佈比較難，因此可以基於平均場方法來解決。

對於未知標籤的對象，利用採樣來得到，而對於已知標籤的對象，直接利用其真實標籤。實際情況中利用一個採樣即可。

在學習過程中只需要學習條件分佈，不需要人工特徵。

為了對不同對象之間的長程依賴進行建模，可以利用多信息傳輸層。

優化算法偽代碼如下

整體框架圖示如下

在實驗中，針對對象分類任務，每個類中有20個有標籤的樣本，度量標準為準確率。

數據集信息統計如下

對象分類中幾種算法的效果對比如下

無監督節點表示學習中幾種算法效果對比如下

在對象分類問題中，參數設置如下

無監督節點表示學習中參數設置如下

鏈接分類中參數設置如下

鏈接分類問題中幾種方法的效果對比如下

不同結構下攤銷推理的結果對比如下