論文解讀（MaskGAE）《MaskGAE: Masked Graph Modeling Meets Graph Autoencoders》

• 2022 年 7 月 25 日
• 筆記
• 論文解讀

論文資訊

論文標題：MaskGAE: Masked Graph Modeling Meets Graph Autoencoders
論文作者：Jintang Li, Ruofan Wu, Wangbin Sun, Liang Chen, Sheng Tian……
論文來源：2022,arXiv
論文地址：download 
論文程式碼：download

1 Introduction

 　　MAE 在圖上的應用——2022 最潮的方法。

2 Related work and Motivation

2.1 GAE 

　　GAEs採用了經典的編碼器-解碼器框架，旨在通過優化以下二進位交叉熵損失，從編碼圖的低維表示中進行解碼：

　　　　$\mathcal{L}_{\mathrm{GAEs}}=-\left(\frac{1}{\left|\mathcal{E}^{+}\right|} \sum\limits _{(u, v) \in \mathcal{E}^{+}} \log h_{\omega}\left(z_{u}, z_{v}\right)+\frac{1}{\left|\mathcal{E}^{-}\right|} \sum\limits _{\left(u^{\prime}, v^{\prime}\right) \in \mathcal{E}^{-}} \log \left(1-h_{\omega}\left(z_{u^{\prime}}, z_{v^{\prime}}\right)\right)\right)$

　　其中，$\mathcal{z}$ 代表低維隱表示，$f_{\theta}$ 代表參數為  $\theta$ 的 GNN encoder，$h_{\omega}$ 代表參數為  $\omega$ 的 GNN decoder，$\mathcal{E}^{+}$ 代表  positive edges ，$\mathcal{E}^{-}$ 代表 negative edges 。

2.2 Motivation

　　按照互資訊的思想：希望最大化 k-hop 節點對子圖之間的一致性，但是伴隨著 $K$ 值變大，過平滑的問題越發明顯，此時子圖大小對節點表示的學習不利。因此有：

　　

 　　分析了一堆廢話…………….

　　後面呢，必然出現解決過平滑的策略。

　　Recall：解決過平湖的策略

• • 殘差；
  • 譜圖理論；
  • 多尺度資訊；
  • 邊刪除；

3 Method：MaskGAE 

　　　　$g_{\phi}\left(z_{v}\right)=\operatorname{MLP}\left(z_{v}\right)$

3.3 Learning objective

　　損失函數包括：

• • Reconstruction loss：計算的是掩碼邊 $\mathcal{E}^{+}=\mathcal{E}_{\text {mask }}$   的重構損失；
  • Regression loss：衡量的是節點度的預測與掩蔽圖中原始節點度的匹配程度：

 　　　　　　$\mathcal{L}_{\mathrm{deg}}=\frac{1}{|\mathcal{V}|} \sum\limits _{v \in \mathcal{V}}\left\|g_{\phi}\left(z_{v}\right)-\operatorname{deg}_{\text {mask }}(v)\right\|_{F}^{2}$

　　因此，總體損失為：

　　　　$\mathcal{L}=\mathcal{L}_{\mathrm{GAEs}}+\alpha \mathcal{L}_{\mathrm{deg}}$

4 Experiments

Link prediction

　　

node classifification 

　　

5 Conclusion

　　在這項工作中，我們首次研究了掩蔽圖建模(MGM)，並提出了MaskGAE，一個基於理論基礎的自我監督學習框架，以 MGM 作為一個有原則的借口任務。我們的工作在理論上是基於以下理由：(i)氣體本質上是對比學習，使與鏈接邊相關的配對子圖視圖之間的互資訊最大化；(ii)MGM可以有利於互資訊最大化，因為掩蔽顯著減少了兩個子圖視圖之間的冗餘。特別是，我們還提出了一種路徑掩蔽策略，以促進米高梅的任務。在我們的實驗中，MaskGAE 比 GAE 表現出顯著改善的性能，並且在鏈路預測和節點分類基準上與強基準線相當或更好。