斯坦福Jure Leskovec清華演講：圖神經網路研究最新進展（附PPT下載）

• 2019 年 11 月 14 日
• 筆記

大數據文摘授權轉載自學術頭條

昨日，除了刷屏的「雙十一」與AAAI開（放）獎（榜），斯坦福大牛Jure Leskovec正好到訪清華，學術君的朋友圈是一片喜氣洋洋吶……

Jure Leskovec有多火，看看現場圖就知道了！

Jure Leskovec有多厲害？

Jure Leskovec

圖網路領域的大牛Jure Leskovec，是斯坦福大學電腦學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。

在Google學術搜索（Google Scholar）上，Jure擁有接近4.5萬的論文引用數量，H指數為84。這意味什麼？

在美國，研究型大學要獲得永久教職的副教授，H指數一般為10到12，晉陞為正教授則大約為18。成為美國科學院院士則一般在45以上，中位數是57。而Jure 84的H指數也就意味著他在人工智慧研究領域佔有舉足輕重的地位。

近年來，深度學習領域關於圖神經網路（Graph Neural Networks，GNN）的研究熱情日益高漲，圖網路已經成為2019年各大深度學習高峰會的研究熱點。GNN 處理非結構化數據時的出色能力使其在網路數據分析、推薦系統、物理建模、自然語言處理和圖上的組合優化問題方面都取得了新的突破。但是，大部分的圖網路框架的建立都是基於研究者的先驗或啟發性知識，缺少清晰的理論支撐。

在ICLR2019中，Jure Leskovec 團隊的一篇力作，圖神經網路到底有多厲害（ How Powerful are Graph Neural Networks） ？提出了基於WL圖同構測試的理論框架，為眾多的GNN框架給出了精彩的理論分析，並提出了一個簡單但強大的圖網路框架 GIN（Graph Isomorphism Networks），同時驗證了GIN在圖分類任務上的卓越性能。這篇文章認為圖神經網路在因果推理方面有巨大的潛力，有望成為 AI 的下一個拐點。

Jure在研究什麼？

Jure在演講中提到，圖形領域的機器學習是一項重要而普遍的任務，其應用範圍從藥物設計到社交網路中的友情推薦。該領域的主要挑戰是找到一種表示或編碼圖形結構的方法，以便機器學習模型可以很方便地利用它。

他介紹了圖神經網路研究的最新進展，他們使用基於深度學習的技術，自動學習將圖形結構編碼為低維嵌入。他還介紹了圖表示學習的關鍵進展，包括圖形卷積網路及其表示能力，探討了它在Web級推薦系統、醫療保健、知識表示和推理方面的應用。

以下是該演講的PPT節選：

深度學習工具箱是為簡單的序列和網格而設計的，但並不是任何事物都可以表示為一個序列或一個網格。

我們怎樣才能開發出更為廣泛應用的神經網路呢？可以通過學習影像和序列的經典神經網路之外的新領域。

為什麼這很難呢？

因為網路是複雜的！

• 任意大小和複雜的拓撲結構（即沒有像網格那樣的空間局部性）
• 無固定節點順序或參考點
• 通常是動態的，具有多模態特徵

圖形神經網路

GNNs的表現力如何？

理論框架：描述GNNs的判別力

• 描述GNNs判別能力的上界；
• 提出一種超級強大的GNNs；
• 描述GNNs的辨別力；

關鍵點：根子樹

強大的GNN能夠區分不同結構的根子樹。

想法：如果GNN函數是內射的，GNN可以捕獲/區分根子樹結構；

定理：最具判別力的GNN使用內射多集函數進行相鄰聚集；

如果聚合函數是內射的，則GNN可以完全捕獲/區分根子樹結構。

GNNs的重要性

1.GNNs能做兩件事：

• 學習如何從附近節點「借用」特徵資訊以豐富目標節點；
• 每個節點可以有不同的計算圖，網路也可以捕獲/學習其結構；

2.可選擇計算圖：

• 聚合不需要在所有鄰近點間發生；
• 可以對鄰近點進行選擇/抽樣；
• 在實踐中獲得巨大成效；

3.我們了解GNNs的失敗案例：

• GNNs無法區分同構節點；
• 結構感知Vs位置感知。

簡單介紹到這裡，全部PPT鏈接：

https://static.aminer.cn/misc/pdf/graphsage2-mit-nov19.pdf

實習/全職編輯記者招聘ing

加入我們，親身體驗一家專業科技媒體采寫的每個細節，在最有前景的行業，和一群遍布全球最優秀的人一起成長。坐標北京·清華東門，在大數據文摘主頁對話頁回復「招聘」了解詳情。簡歷請直接發送至[email protected]

點「在看」的人都變好看了哦！