準備好了嗎？GNN 圖神經網路 2021 年的5大應用熱點

• 2021 年 1 月 25 日
• AI

譯者：AI研習社（季一帆）

雙語原文鏈接：Top Applications of Graph Neural Networks 2021

今年開始。圖神經網路（Graph Neural Networks）成為研究者討論的焦點，作為該領域的研究人員，我甚是欣慰。記得大概三年前，圖神經網路那時還受到冷落，當我和研究GAN和Transformers的同行交流時，他們認為我的研究方向極其小眾。到了現在，這個領域終於守得雲開見月明。因此，我將在本文向大家介紹最近的GNNs應用熱點。

推薦系統

在電子商務平台中，用戶與產品的交互構成圖結構，因此許多公司使用圖神經網路進行產品推薦。典型的做法是對用戶和商品的交互關係進行建模，然後通過某種負取樣損失學習節點嵌入，並通過kNN實時推薦給用戶相似產品。Uber Eats 公司很早就通過這樣的方式進行產品推薦，具體而言，他們使用圖神經網路 GraphSage 為用戶推薦食品和餐廳。

在食品推薦中，由於地理位置的限制，使用的圖結構比較小。在一些包含數10億節點的大規模圖上，同樣也可以使用圖神經網路。使用傳統方法處理如此大規模的圖是非常困難的，阿里巴巴公司在包含數十億用戶和產品的網路上研究圖嵌入和GNN，最近他們提出的Aligraph，僅需要五分鐘就可以構建具有400M節點的圖。非常強大！此外，Aligraph還支援高效的分散式圖存儲，對取樣過程進行了優化，同時內部集成了很多GNN模型。該框架已成功用於公司的多種產品推薦和個性化搜索任務。

Alibaba, Amazon 以及其他很多電子商務平台使用GNN構建推薦系統

Pinterest 提出了 PinSage 模型，該模型使用個性化PageRank對鄰域進行高效取樣，並通過聚合鄰域更新節點嵌入。後續模型 PinnerSage 進一步擴展了該框架來處理不同用戶的多嵌入問題。受限篇幅，本文僅列出GNN在推薦系統的部分應用（其他案例還包括：Amazon在知識圖譜中應用GNN或Fabula AI使用GNN檢測假新聞等），但這些足以表明，如果用戶互動的資訊足夠豐富，那麼GNNs將顯著推動推薦系統中進一步發展。

組合優化

金融、物流、能源、生命科學和硬體設計等多個領域都面臨組合優化（CO）問題。這些問題多數可以通過圖結構進行建模，因此，過去近一個世紀的研究工作都致力於從演算法層面解決CO問題。然而，機器學習的發展為CO問題的解決提供了另外一種可能性。

Google Brain 團隊將GNN成功用於硬體設計，如對Google TPU晶片塊的功耗、面積和性能的優化。可以將電腦晶片視為由記憶體和邏輯部件組成的圖，每個圖由其部件的坐標和類型表示。電氣工程師的工作就是，在遵守密度和布線擁塞限制的同時，確定每個組件的位置。Google Brain團隊結合GNN和策略/值RL實現對電路晶片布局的設計與優化，其表現優於人工設計的硬體布局。

晶片布局與國際象棋、圍棋的複雜度對比（圖源）

此外，還可以將機器學習（ML）模型集成到現有求解器中。Gasse et al.  提出了一種用於學習分支定界變數選擇策略（混合整數線性程式MILP求解器的關鍵）的圖網，通過該方式能夠最小化求解器的運行時間。同時論文表明，該方法既能保證推理時間，又能保證決策品質。

在DeepMind和Google的最新工作中，圖網被用於MILP求解器的兩個關鍵子任務：聯合變數分配和目標值定界。在Google生產包和規劃系統大規模數據集上，他們的神經網路方法比現有求解器快2–10倍。更多內容請查閱相關綜述。

電腦視覺

由於世界上所有物體都是密切聯繫的，因此可以將GNN用於物體影像。通過場景圖可以感知影像，即一組物體出現在同一場景中，那麼它們之間存在聯繫。場景圖已用在影像檢，理解和推理，字幕生成，視覺問答以及影像生成等任務，從而大大提高模型的性能。

Facebook的一項研究表明，根據經典CV數據集COCO中的物體形狀、位置和大小創建場景圖，然後使用GNN對圖中物體進行嵌入，進而結合CNN生成物體的遮罩，邊框和外。最終，通過GNN / CNN可以在用戶指定節點（確定節點的相對位置和大小）生成物體影像。

使用場景圖生成影像。用戶可以將物體放置在畫布的任何位置，影像也會產生相應變動（如將紅色的「河流」從中間移到右下角，那麼影像中生成的河流也移到右下角）

對於CV的經典任務——兩個相關影像的匹配，之前的方法僅能通過人工實現。但現在，3D圖形公司Magic Leap開發出名為SuperGlue的GNN架構，該架構可在實時影片中執行圖形匹配，以完成3D重建、位置識別、本地化和製圖（SLAM）等任務。SuperGlue由一個基於注意力的GNN組成，GNN學習影像關鍵點的表示，然後在最佳傳輸層對這些關鍵點表示進行匹配。模型可以在GPU上實現實時匹配，還能方便地集成到現有SLAM系統中。關於圖形與電腦視覺的更多研究和應用，參見以下綜述文章。

物理/化學

根據粒子或分子之間的相互作用構建圖，然後使用GNN預測系統屬性已逐漸成為生命科學中的重要研究方法。Facebook和CMU合作的Open Catalyst項目致力於找到新的方法來存儲可再生能源，例如太陽能或風能。可能的方案之一是通過化學反應將這種能量轉換成其他燃料，如氫氣。然而，這需要發現新的、更高效的催化劑來加速化學反應，且已知的DFT方法成本極高。Open Catalyst項目開源了大規模催化劑數據集、DFT弛豫和GNN基準方法，希望找到新的、高效的、低成本催化劑分子。

吸附質（小連接分子）和催化劑表面的初始狀態和鬆弛狀態。為了找到吸附質-催化劑對的鬆弛狀態，需要進行高昂的DFT模擬，而且要花費好幾天時間。Zitnick et al. 2020

DeepMind的研究人員還使用GNN來模擬複雜粒子系統（例如水或沙子）的動力學過程。通過逐步預測每個粒子的相對運動，可以合理重建整個系統的動力學，了解控制運動的基本規律。這可用於了解玻璃化轉變——固態理論中最有趣的未決問題之一。此外，使用GNN不僅可以模擬過渡中的動力學，而且可以更好地了解粒子之間如何根據距離和時間產生相互影響。

此外，美國的物理實驗室的Fermilab致力於應用GNNs對CERN大型強子對撞機（LHC）的結果進行分析，希望能夠對數百萬影像進行處理，發現並選擇與新粒子相關的影像。他們的任務是將GNN部署在FPGA，並將其與數據採集器集成在一起，這樣可以在全球範圍內遠程運行GNN。有關GNNs在粒子物理學中的更多應用，參見以下綜述文章。

藥物研發

製藥行業競爭激烈，頭部公司每年都會投入數十億美元來開研發新葯。在生物學中，圖可以表示不同尺度上的相互作用，如在分子水平，圖的邊緣可以是分子中原子之間的鍵或蛋白質中氨基酸殘基之間的相互作用；在更大的尺度上，圖可以表示更複雜的結構（例如蛋白質，mRNA或代謝物）之間的相互作用。不同層次尺度中的圖可用於目標識別，分子特性預測，高通量篩選，新型藥物設計，蛋白質工程和藥物再利用等。

應用GNN進行藥物研發的時間流，Gaudelet et al., 2020

麻省理工學院的研究人員及其合作者在Cell(2020)上發表的文章表明，GNN有助於藥物研發。他們訓練了名為Chemprop的深層GNN模型來預測分子是否具有抗生素特性，即對大腸桿菌的生長抑制作用。在使用FDA批准的藥物庫中的約2500個分子對其進行訓練後，Chemprop被應用於更大的數據集，該數據集為包含Halicin分子的Drug Repurposing Hub，並根據《2001：太空漫遊》電影中的HAL9000對其重命名。

需要說明的是，由於Halicin分子結構與已知的抗生素相差很大，因此先前的工作僅對該分子進行研究。但是，體內和體外臨床實驗表明，Halicin是一種廣譜抗生素。相比NN模型進行的廣泛基準測試，應用GNN發現Halicin更加顯示了GNN強大的學習表徵能力。除此之外，Chemprop架構也值得關註：不同於多數GNN模型，Chemprop有5層和1600隱藏層維數，遠超其他GNN參數。以上介紹不過是GNN在新葯發現中的冰山一角，想要了解更多資訊，請查閱該綜述和部落格。

致謝

感謝Michael Bronstein，PetarVeličković，Andreas Loukas，Chaitanya Joshi，Vladimir Ivashkin，Boris Knyazev等人的回饋與建議。

AI研習社是AI學術青年和AI開發者技術交流的在線社區。我們與高校、學術機構和產業界合作，通過提供學習、實戰和求職服務，為AI學術青年和開發者的交流互助和職業發展打造一站式平台，致力成為中國最大的科技創新人才聚集地。

如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學習新知，分享成長。