知識圖譜-生物資訊學-醫學頂刊論文(Briefings in Bioinformatics-2021)：生物資訊學中的圖表示學習：趨勢、方法和應用
4.(2021.6.24)Briefings-生物資訊學中的圖表示學習：趨勢、方法和應用
論文標題: Graph representation learning in bioinformatics: trends, methods and applications
論文期刊: Briefings in Bioinformatics 2021
論文地址: //www.researchgate.net/profile/Haicheng-Yi/publication/354327323_Graph_representation_learning_in_bioinformatics_trends_methods_and_applications/links/625c158c709c5c2adb836141/Graph-representation-learning-in-bioinformatics-trends-methods-and-applications.pdf
- 4.(2021.6.24)Briefings-生物資訊學中的圖表示學習：趨勢、方法和應用
摘要
圖是描述複雜系統的一種天然數據結構，它包含一系列對象和關係。無處不在的現實生活中的生物醫學問題可以建模為圖分析任務。機器學習，特別是深度學習，在大量的生物資訊學場景中取得成功，數據以歐氏空間表示。然而，非歐幾里德生物醫學圖中保留了豐富的生物元素之間的關係資訊，這對經典的機器學習方法來說並不友好。圖表示學習的目的是將圖嵌入到低維空間中，同時保持圖的拓撲和節點屬性。它連接了生物醫學圖和現代機器學習方法，最近引起了機器學習和生物資訊學領域的廣泛關注。本文綜述了圖表示學習及其在生物資訊學中的代表性應用。為了提供全面和結構化的分析和視角，我們首先對圖嵌入方法(同構圖嵌入、異構圖嵌入、屬性圖嵌入)和圖神經網路進行了分類和分析。從分子水平到基因學、製藥和醫療保健系統水平，總結了它們的代表性應用。此外，我們為實現這些圖表示學習方法總結了相關方法的開源平台和庫，並討論了生物資訊學中圖表示學習的挑戰和機遇。這項工作對新興的圖表示學習演算法及其在生物資訊學中的應用做了一個全面的調查。預計它將為研究人員提供有價值的見解，以協助他們為圖表示學習和面向未來的生物資訊學研究做出貢獻。
1.引言
圖是一種自然的數據結構，它包含一組對象和對象之間的兩兩關係的集合，是描述和建模現實生活中普遍存在的複雜系統的通用語言，如社交網路、學術引文網路和詞語同現網路(不同單詞出現在同一句子中)。從分子結構到醫療保健系統，生物醫學圖在生物醫學和生命科學領域無處不在，例如，基因調控網路、蛋白質相互作用(PPI)網路、人腦連接體和生物醫學知識圖譜。圖正日益成為生物醫學系統建模、學習和推理的主要工具。
分子生物學、生理學和組學(例如基因組學、蛋白質組學等)的快速發展促進了人們對生物分子、細胞、器官如何協同進行重要的生化或生理活動的理解。將生物組件表示為節點，將節點之間的相互作用表示為邊，可以自然地將複雜的生物系統建模為圖。這一簡潔的概念正逐漸被研究人員接受和推廣。為解決生物問題而建模和分析生物圖的趨勢可以分為三個階段：雙邊生物圖、多關係生物圖和多模態生物醫學知識圖。我們對它們作如下簡要介紹：
- 雙邊生物圖。它包含兩種生物對象以及它們之間的聯繫。它已經應用於許多重要的生物學任務，例如基於PPI圖的蛋白質功能注釋，從DTI圖推斷藥物的新適應症，"miRNA-疾病"關聯預測，"lncRNA-疾病"關聯預測和"CircRNA-疾病"關聯檢測；
- 多關係生物學圖。這是一個更複雜的多層異構網路，用於描述多個生物元素之間的複雜協同作用。新出現的研究證實，分子之間存在相互調節和競爭，即競爭內源RNA假說。對於藥物發現和疾病治療，需要綜合研究藥物與靶點、藥物與疾病、藥物與基因、疾病與基因、藥物與藥物的相互作用。這些複雜系統可以很好地形成異構多關係生物學圖，如用於"miRNA-疾病"關聯預測的"lncRNA-mRNA-miRNA"圖、"藥物-靶標-疾病"圖、"miRNA-基因-疾病"三邊圖、"化學-基因-疾病"圖和"miRNA-基因-lncRNA-疾病"圖；
- 生物醫學知識圖。知識圖在歷史上有很多名稱，如語義網路、知識庫或本體。它從大量分散的文檔和資料庫中的大量資訊中挖掘「知識」，並以圖的形式將這些實體關係鏈接在一起。每一段知識都表示為"主體-謂語-客體"三元組。知識圖被認為是下一代人工智慧的基礎設施，在生物資訊學領域具有許多前沿應用，包括用於臨床決策支援的醫療保健知識圖、用於疾病治療的全局分子關聯圖和生物醫學知識圖(例如：PharmGKB、DrugBank、基因本體論(GO)、疾病本體論和KEGG)。
為了將快速積累的生物醫學大數據轉化為有價值的知識，機器學習，特別是深度學習，成功地應用於生物資訊學的廣泛場景，如序列分析、結構預測、生物醫學影像處理和診斷。這些任務中的數據直接表示在歐幾里德空間中，例如序列(1-D)、生物醫學影像(2-D)和結構(3-D)。深度學習模型是為了處理這些常規的歐幾里得數據(例如文本、序列和拍攝的影像)而設計的，以前的工作已經很好地回顧了這些數據。然而，在非歐幾里得生物圖和典型的深度學習模型之間存在明顯的挑戰。例如，圖中的節點具有多樣的連接、任意的鄰域大小、複雜的拓撲結構以及沒有固定的節點順序。為了滿足這些需求，圖表示學習將豐富的有價值的生物圖和先進的機器學習技術結合起來，包括淺層圖嵌入方法和新興的圖神經網路(GNN)。圖表示學習的主要範例如圖1所示。其中，圖嵌入的目的是學習節點、鏈接或子圖的低維表示，同時最大限度地保留適合於下游圖分析任務的現成機器學習方法的圖拓撲和固有屬性，例如節點分類、鏈接預測、社區檢測和可視化。然而，GNN不僅可以通過一系列消息聚合和傳播來學習保留圖拓撲和節點屬性的嵌入，而且可以直接端到端地完成圖上的任務(如圖2所示)。根據前人對圖嵌入技術的研究，圖嵌入方法可以分為同構圖嵌入、異構圖嵌入和屬性圖嵌入方法。基於模型結構和訓練策略，GNN可以概括為圖遞歸網路(GRN)、圖卷積網路(GCN)、圖自動編碼器(GAE)和圖生成對抗網路(GGAN)。
圖1：圖表示學習範例。圖表示學習連接了非歐幾里得圖數據和現代機器學習技術。在這裡，我們總結了圖嵌入方法和圖神經網路。
(a)類似網格的歐幾里得數據與非歐幾里得圖的對比(不利於學習)。
(b)圖嵌入方法通過將原始圖中的節點直接投影到低維表示空間來生成節點表示。
(c)圖神經網路通過不同的消息聚合和傳播來學習圖表示。
(d)圖生成模型學習輸入樣本的分布以生成具有所需屬性的分子圖。
圖2：圖嵌入方法和圖神經網路的比較。圖嵌入方法生成節點表示，可以與機器學習模型結合來執行下游任務，而圖神經網路融合圖拓撲和屬性來執行端到端圖任務。
在這項工作中，我們對圖表示學習及其在生物資訊學中的輝煌應用進行了全面的回顧。
- 我們首先對圖表示學習中的淺圖嵌入演算法和新興的GNN進行了詳細的總結和討論。
- 然後，介紹了圖表示學習在各生物資訊學問題中的典型應用。
- 此外，我們還討論了圖表示學習方法在生物資訊學中的挑戰和機遇。
- 最後，我們總結了用於圖計算和圖表示學習、以及文中所述的圖嵌入和GNN模型的開源平台和庫。
這個工作對新興圖表示學習及其在生物資訊學中的應用進行了全面的調查，旨在為研究人員在生物資訊學研究中應用圖表示學習方法提供有用的引導。
2.圖表示學習概述
在本節中，我們將簡要概述圖表示學習方法。圖表示學習的目的是將圖中的節點編碼成低維的向量表示，從而最大限度地保持圖的拓撲結構和節點屬性資訊。首先描述了重定標圖和鄰近度的符號和定義。然後概述了淺圖嵌入方法(包括同構圖嵌入、異構嵌入和屬性圖嵌入)和GNN的關鍵類型。圖3總結了本節中回顧的不同方法之間的層次關係。
圖3：圖表示學習的分類和代表性方法。
2.1 基本定義
許多現實世界的系統可以抽象地表示為不同級別的資訊圖，這些資訊圖側重於組件以及這些組件之間的關聯。圖表示學習方法旨在解決泛化圖嵌入的問題。在這一部分中，我們首先定義了與圖表示學習相關的重要概念，包括不同類型的圖，以及不同的圖嵌入演算法所依賴的圖鄰近度。為了便於介紹和分析，首先介紹了符號的形式定義。
假設\(G=(V,E)\)表示由一組頂點(也稱為節點)\(V=\{v_1,v_2,\cdots,v_{|V|}\}\)和一組鏈接(也稱為邊)\(E=\{e_{i,j}\} \in \mathbb{R}^{V \times V}\)組成的圖，其中\(|V|\)表示頂點數。圖\(G\)的鄰接矩陣\(W\)保持與每條邊相關聯的非負權重，如果\(v_i\)與\(v_j\)相連，那麼\(w_{i,j}>0\)，反之\(w_{i,j}=0\)。對於無向圖，鄰接矩陣是對稱的，即\(w_{i,j}=w_{j,i},∀i,j∈[v]\)。我們也設計了節點類型映射函數\(φ:V→T\)和鏈接類型映射函數\(ψ:E→R\)。\(T\)和\(R\)分別是預定義的節點類型和鏈接類型的集合。
2.1.1 定義1：同構圖和異構圖
給定一個資訊圖\(G\)，根據它的圖拓撲結構和屬性性質(有或沒有節點屬性)，可以將其分為不同類型的圖。如果節點類型\(|T|>1\)或鏈路類型為\(|R|>1\)，即\(|T|+|R|>2\)，則該圖是異構圖。否則，它是同構圖(\(|T|=1\)且\(|R|=1\))。同構圖只有一種類型的節點和唯一的鏈接類型，而異構圖包含多種類型的、相互連接的對象，例如"藥物-目標-疾病"圖。同時，多重圖是異構圖的一種特殊類型。多重圖也稱為多視圖或多維圖，它只有一種類型的節點但有多種類型的邊。它可以看作是一類特殊類型的異構圖，其中\(|T|=1\)但\(|R|>1\)。
2.1.2 定義2：屬性圖
資訊圖中的抽象頂點通常有其固有的性質。一個屬性圖可以形式化地定義為\(G=(V,E,A)\)，其中\(A\)是一個屬性表示矩陣。對於每個節點\(v_i∈V\)，都有一個對應的特徵向量\(a_i∈A\)隸屬於它，其中\(A=\{a_i|v_i∈V\}\)是所有節點的節點屬性特徵集。\(a_i\)是屬於節點\(v_i\)的屬性矩陣的第\(i\)行。
2.1.3 定義3：元路徑
對於異構圖，元路徑\(\mathrm{P}=\mathrm{T}_1 \stackrel{R_1}{\rightarrow} \mathrm{T}_2 \stackrel{R_2}{\rightarrow} \mathrm{T}_3 \rightarrow \ldots \stackrel{R_1}{\rightarrow} \mathrm{T}_{l+1}\)定義在網路模式\(τ(G)=(T,R)\)上，它由節點類型\(T_1\)和節點類型\(T_{l+1}\)之間的複合關係\(R=R_1◦R_2◦R_3◦···◦R_l\)組成，其中\(l\)表示路徑的長度(\(l≥1\))，\(◦\)表示關係上的複合運算元。元路徑可以有效地處理語義資訊，例如，一條路徑 \(\text{藥物}_a \stackrel{\text{靶標}}{\longrightarrow} \text{蛋白質}_b \stackrel{\text{相互作用}}{\longrightarrow} \text{疾病}_c\)在生物醫學圖中註明了一種疾病的治療機制。
2.1.4 定義4：一階鄰近度
一階鄰近度反映了兩個直接相鄰節點之間的局部成對相似度。如果兩個頂點之間有連接，則這兩個節點相似，否則不相似。形式上，兩個節點\(V_m\)和\(V_n\)的一階鄰近度用\(S_{m,n}\)來度量。如果節點對\(v_m,v_n \notin E\)，則\(S_{m,n}>0\)；反之\(S_{m,n}=0\)。
2.1.5 定義5：高階鄰近度
高階鄰近度捕獲了節點之間的\(k\)跳(\(k≥2\))鄰域。而二階鄰近度是高階鄰近度(\(k=2\))的特例，它由中間節點連接的鄰居節點的數目決定。通過從\(v_m\)到\(v_n\)的\(k\)跳轉移概率來衡量兩個節點\(v_m\)和\(v_n\)的高階鄰近度，即\(S_{m,n}=\hat{E}+\hat{E}^2+\hat{E}^3+\cdots+\hat{E}^k\)，其中\(\hat{E}\)表示第一跳的轉移概率。高階鄰近度捕捉到了全局鄰近度。
2.1.6 定義6：語義鄰近
通過兩個節點的屬性特徵向量\(a_m\)和\(a_n\)的相似度來獲得兩個節點\(v_m\)和\(v_n\)的語義鄰近度。常用的相似度度量包括餘弦相似度、皮爾遜相關係數、傑卡德相似度係數和高斯交互輪廓(GIP)核相似度
2.2 同構圖嵌入
圖嵌入的第一類是同構圖嵌入，也稱為網路嵌入或非屬性圖嵌入。它是最早發展起來的最簡單的圖表示學習方法。在學習頂點的低維表示時，同構圖嵌入方法通常旨在保持圖的拓撲。根據它們的技術細節，我們將這些同構圖嵌入方法分為三大類：基於矩陣分解的方法、基於隨機遊動的方法和基於傳統深度學習的方法。
2.2.1 基於矩陣分解的方法
矩陣分解旨在將矩陣分解為低維矩陣，同時保持原矩陣的潛在流形結構和拓撲性質。有一些開創性的工作(例如IsoMap、局部線性嵌入、拉普拉斯特徵映射和圖因式分解)將節點之間的關係表示為圖鄰接矩陣、拉普拉斯矩陣或相似矩陣，然後採用矩陣因式分解來獲得嵌入。這些方法的不同之處在於它們基於不同的一階矩陣來捕捉圖的結構，並且它們通常獲得節點的淺嵌入。
最近，基於矩陣因式分解的圖嵌入方法也得到了發展，這種方法可以保持高階鄰近性。例如，GraRep和Hope分別通過分解k跳轉移概率矩陣和相似度矩陣(通過Kate指數、Rooted PageRank、Common Neighbors和Adamic–Adar得分來衡量)來考慮高階鄰近。雖然其有效性已被證明，但由於巨大的存儲開銷和極高的計算成本，規模的可伸縮性仍然是基於矩陣分解的方法的關鍵瓶頸。
2.2.2 基於隨機遊走的方法
受Word2vec啟發，研究人員將NLP中的嵌入方法從單詞序列擴展到圖節點序列，即路徑。採用基於隨機遊走的方法生成圖中的節點序列，獲取節點之間的結構關係。具體地說，基於隨機遊走的方法對於給定的圖和起始節點，隨機遊走並隨機選擇其鄰居節點，然後隨機選擇相鄰節點。通過重複這種處理，一個圖被轉換成節點序列（類似於遍歷）。然後，可以使用類似Skip-Gram模型的概率模型在序列上隨機生成上下文詞，然後來學習基於生成的節點序列的節點嵌入，從而保持圖的結構鄰近性。這一類別的開創性工作是Deepwalk。類似地，node2vec改進了靈活的有偏隨機遊走，平滑地結合了廣度優先取樣和深度優先取樣來獲得節點序列。因此，既保留了局部鄰近關係，也保留了全局鄰近關係。此外，通過對隨機遊動的偏向和修正，提出了兩種變種Walklets和Stuc2vec。Walklets通過跳過一些節點來修改隨機行走策略。而不是鄰域節點資訊，Struc2vec基於節點的結構相似性定義了隨機遊走。
跳字模型(Skip-Gram)：固定窗口大小(即詞距)為k，依次把第2個詞~倒數第2個詞作為目標詞,然後對於每個目標詞依次在詞距內隨機選擇單詞作為上下文詞，將每一對(目標詞,上下文詞)加入跳字模型。
2.2.3 基於傳統深度學習的方法
傳統深度學習技術在圖嵌入學習領域也展示了令人印象深刻的表示學習能力。廣泛使用的嵌入方法LINE，可以看作是使用多層感知器逼近一階鄰近度和二階鄰近度來學習節點嵌入。基於深度自動編碼器體系結構，SDNE通過對節點的一階鄰近度(基於拉普拉斯特徵映射測量)和二階鄰近度的建模來同時保留全局和局部圖結構。為了獲取高階鄰近性，DNGR通過在正類逐點互資訊矩陣上堆疊去噪自動編碼器來嵌入深度低維節點。基於傳統深度學習的嵌入方法可以學習圖中的非線性，但其計算代價普遍較高。最重要的是，這些基於傳統深度學習的方法仍然非常原始。它們只能為訓練階段出現的節點生成嵌入。為了緩解這些問題，最近迅速開發了更複雜的GNN。我們將在第2.5節-圖神經網路中具體討論它們。
2.3 異構圖嵌入
異構圖更自然地與具有多種對象和關聯的現實世界場景相關，而上面提到的同質圖嵌入方法不能直接作用於它們。異構圖嵌入在幾年前提出後迅速成為一個蓬勃發展的研究領域。現有的異構圖嵌入方法也大致可以分為基於元路徑的方法、基於分解的方法和基於深度學習的方法。
2.3.1 基於元路徑的方法
由於結構和內容的異構性，隨機遊動很難找到一種有效的遊動策略來捕捉整個圖中包含的豐富語義。元路徑限制了隨機遊走的方向，降低了異構圖的遍歷複雜度。Metapath2vec形式化了元路徑引導的隨機遊走，以生成節點的異構鄰域，然後利用異構跳圖模型進行節點嵌入。作為擴展，HIN2vec也使用基於元路徑的隨機遊走，提出了一個神經網路來捕捉圖的異構性。不同之處在於，它使用生成的元路徑作為對象來直接學習元路徑和節點的表示。後來，GATNE將這一策略擴展到多路傳輸異構網路。然而，對於這種類型的模型，適當的遊走次數和遊走長度的設置是至關重要的。否則，這些方法不能完全保留圖的整個結構。
2.3.2 基於分解的方法
基於分解的方法類似於分而治之，它將輸入的異構圖劃分為幾個小的子同構圖或子雙邊圖，以降低異構圖的複雜性。例如，PTE根據邊類型將一個異構圖分解成多個雙邊圖，然後利用每個雙邊圖上的邊來學習共享節點的嵌入。Heer通過考慮節點對在其邊嵌入上的類型鄰近性來擴展PTE。根據定義的元路徑，HERec還將一個異構圖投影到不同的維度，然後在每個子圖中使用metapath2vec來學習頂點嵌入。
2.3.3 基於傳統深度學習的方法
儘管這個問題很重要，但基於傳統深度學習技術的異構圖嵌入的研究還很少。例如，HNE學習表示。通過深度卷積神經網路獲取圖和內容的拓撲資訊，然後將它們共同投射到一個共同的嵌入空間中。而BL-MNE模型引入了一種基於深度對齊自動編碼器的異構圖嵌入方法。最近，不同的GNN也被應用於異構圖的嵌入。為了更好地在下面介紹它們，將它們組合在一起並進行分類。
2.4 屬性圖嵌入
除了大多數圖嵌入演算法使用的圖拓撲資訊外，一些工作已經證明，還應該充分利用豐富的節點屬性來輔助圖表示學習。屬性圖嵌入也可以與同質或異構圖嵌入相交，例如屬性同質圖嵌入或屬性異構圖嵌入。TADW首先採用歸納矩陣因式分解來融合節點文本屬性和圖結構。Lane順利地將圖的拉普拉斯技術與標籤資訊相結合，從節點屬性和拓撲結構兩個方面聯合學習嵌入。ASNE通過集成節點鄰近性和結構鄰近性開發了一個社交圖嵌入框架。Dane捕捉到了各種拓撲結構和節點屬性鄰近度的高度非線性。Liu等人通過將圖的結構、語義資訊和屬性與高斯分布相融合，提出了一個統一的屬性異構圖嵌入模型AHNG。ANRL設計了一個鄰居增強自動編碼器模型，將節點屬性親和度和結構貼近度合併到低維嵌入空間中。
2.5 圖神經網路(GNN)
深度學習在各個領域都取得了實質性進展。然而，原有的深度學習方法是針對歐幾里得數據(例如文本、序列和拍攝的影像)設計的。為了將深度學習應用於非歐氏圖，神經網路近年來得到了迅速的發展和廣泛的應用。除了學習圖嵌入，GNN通常可以通過各種局部消息聚合和傳播步驟來捕獲圖的結構資訊和節點屬性，並且可以以端到端的方式直接處理與圖相關的任務。根據以前的工作，在本節中，我們根據模型體系結構和訓練策略將最新的GNN總結為四類：圖遞歸神經網路(GRN)、圖卷積神經網路(GCN)、圖自動編碼器(GAE)和圖生成對抗性網路(GGAN)。一些變體可以基於不同的訓練策略將這些體系結構組合和重疊，例如強化學習和對比學習。
2.5.1 圖遞歸神經網路(GRN)
圖遞歸神經網路(GRN)是GNN的開拓性工作，它通過在圖中的節點上遞歸地應用相同的參數來編碼高維節點表示。基於資訊的擴散機制，Gori等人提出了GNN，它改進了原來的遞歸神經網路模型來處理圖數據，其中節點聚集鄰居的資訊直到達到穩定的平衡。作為一個顯著的改進，Li等人通過使用門控遞歸單元作為共享參數的映射函數來發展門控GNN，並採用通過時間的反向傳播來訓練它。為了提高GNN模型的可擴展性，文中還提出了隨機穩態嵌入演算法，該演算法可以遞歸地更新節點的隱含狀態，對大規模圖更加有效。
2.5.2 圖卷積神經網路(GCN)
圖卷積神經網路(GCN)將卷積運算從影像等結構化數據擴展到圖數據。其主要思想是學習映射函數\(f(\cdot)\)，通過聚合節點自身和鄰居的特徵來產生節點的嵌入。圖的卷積可以分為譜方法和空間方法。Kipf等人引入了第一個GCN，它應用重歸一化的技巧來解決梯度爆炸或消失問題。然後，Zang等人提出了聯合考慮兩層卷積圖的局部一致性和全局一致性的對偶GNN，並用正類的逐點互資訊矩陣代替了鄰接矩陣。然而，這些方法需要將整個鄰接矩陣或拉普拉斯矩陣存儲在記憶體中，這將導致昂貴的計算。GCN也有許多變體，例如AGCN、LGCN和FastGCN。GraphSAGE是GCN的一個重要改進，它提供了一個通用的歸納學習框架，可以通過取樣和聚合局部鄰居的特徵來生成不可見節點的嵌入。注意力機制也可以用來改進GCN，圖注意力網路(GAT)將自注意力引入到傳播步驟中，並進一步考慮了多頭注意力以提高模型的容量和穩定性。門控注意力網路通過為不同的注意力頭部學習不同的權重來改進多頭注意力機制。Han通過在節點層和語義層進行分層關注來學習異構圖的節點嵌入，而節點層的注意力用於學習對基於元路徑的鄰居聚合的不同權重，語義層的關注度則傾向於不同元路徑的重要性。
2.5.3 圖自動編碼器(GAE)
編碼器-解碼器(encoder-decoder)結構也被廣泛應用於圖嵌入和圖生成任務中。圖自動編碼器(GAE)首先將該體系結構擴展到圖嵌入，該結構採用GCN作為編碼器對結構和節點特徵資訊進行編碼，並使用解碼器重構鄰接矩陣。他們還提出了一種變分圖自動編碼器(VGAE)，通過以變分的方式訓練GAE。通過採用GCN作為編碼器，使用一個簡單的雙線性函數作為解碼器，提出了GC-MC，並應用到了推薦任務上。此外，圖的迭代生成建模(Graphite)通過設計更複雜的解碼器來擴展它們，該解碼器在成對的圖卷積和解碼函數之間迭代。除了將節點編碼為低維嵌入外，Graph2Gauss(G2G)還通過學習每個節點的高斯分布來捕捉節點的不確定性。受SDNE和G2G的啟發，DVNE還使用變分自動編碼器(VAE)將每個節點表示為高斯分布，並採用Wasserstein距離來保持節點相似性的傳遞性。假設圖的先驗分布為高斯分布，GraphVAE使用GCN作為編碼器，簡單的多層感知器作為圖生成任務的解碼器。基於遺傳演算法的對比學習是無監督圖嵌入的另一種方法，它是在深度圖資訊極大(DGI)中首次提出的。DGI通過最大化節點嵌入和圖表示之間的互資訊來獲取圖的全局拓撲資訊。類似地，資訊圖通過最大化不同尺度的圖級表示和子圖級表示之間的互資訊來學習圖表示。
2.5.4 圖生成對抗性網路(GGAN)
生成對抗性網路(GAN)也能夠擴展到圖域。GAN背後的主要理念是對抗性訓練。生成器的目的是生成負類樣本以欺騙鑒別器，而鑒別器的設計目的是識破負類樣本，正確區分真實樣本和生成的負類樣本。最終，這兩種模式都將從這場零和博弈的聯合訓練中受益。對數正則化圖自動編碼器採用對抗性訓練原理對基於GCN的GAE進行正則化，以學習穩健的節點嵌入。具有對抗性正則化自動編碼器的網路表示(Netra)提出了一個用於學習網路表示的編解碼器框架，而Netra的輸入是以每個節點為根的隨機遊動，並且通過對抗性訓練在先驗分布內將學習到的嵌入正則化。GraphGAN通過使用GAN增強了節點圖嵌入的推理能力。通過採用對抗性訓練策略，對抗性網路嵌入通過將先驗分布作為真實數據並將嵌入向量作為生成的負類樣本來增強現有的圖嵌入方法，其中GAN被用作附加的正則化項。同時，一些研究也證明了對抗性訓練也可以提高GNN的泛化能力。為了解決分子圖的生成問題，分子GAN結合了GCN、GAN和強化學習方案來生成具有所需性質的分子圖。NetGan將圖生成任務視為學習有偏隨機遊走的分布，生成器使用LSTM網路產生可能的隨機遊動，鑒別器試圖確定虛假的隨機遊動。
此外，最近一些GNN模型的預訓練和加速的研究也值得注意，例如。GPT-GNN，Graph-BERT，RevGNN-Deep(具有大於1000層的最深GNN)和Graph-MLP，一種新的無需消息傳遞的圖學習框架。
2.5.5 開源
為了方便研究人員實現和開發圖表示學習演算法，我們首先在表1中提供了圖表示學習和圖計算平台和庫。這些平台和庫幫助研究人員快速對圖表示學習演算法進行基準測試並開發自己的模型。我們還總結了圖嵌入的實現和表2中回顧的GNN，其中大部分是官方實現。
表1：圖計算和圖表示學習的平台和庫。
表2：圖表示學習演算法的開源實現總結。
3.在生物資訊學中的應用
從分子水平到醫療水平，圖被廣泛應用於表示和建模多通道的生物和醫療系統。圖4顯示了不同尺度的生物醫學圖。儘管一些開創性的工作已經將圖表示學習技術應用於生物醫學任務，如分子生成、藥物再利用、相互作用預測，但圖表示學習在生物醫學任務中的應用還沒有得到深入的探索。在這一部分中，我們介紹了圖表示學習在分子圖分析、多組學圖分析、醫藥保健圖分析中的一系列代表性應用。
圖4：不同尺度的生物醫學圖表概覽。從分子到醫療保健系統，圖在生物醫學領域無處不在，具有多種類型的類內和類間關係。蛋白質和藥物化合物的結構和功能可以看作是分子圖。蛋白質和非編碼轉錄物(包括 miRNA、lncRNA、circRNA等)之間的綜合關聯對多組學圖進行了建模。藥物、蛋白質靶點、ncRNA、微生物、疾病適應症及其相互作用構成了藥物圖。並且電子病歷、個性化組學和其他數據可以進一步集成到醫療保健系統級的知識圖譜中。這些相互關聯的多模態圖可以基於整體的視角進行系統的整合和充分理解。
3.1 分子圖的表示學習
蛋白質和化合物等分子的結構可以看作是由原子和鍵組成的分子圖。節點是原子或氨基酸，邊是化學鍵或肽鍵。分子圖的表示學習的目標是高效、自動地生成具有優化性質的新型分子。
3.1.1 分子表示學習
學習分子的高效表示在蛋白質功能預測、分子性質預測和藥物發現等下游任務中起著基礎性的作用。除了基於字元串的表示，圖表示學習還提供了更靈活、更好的分子表示，這些分子對於特殊任務來說是最佳的。例如，Duvenaud等人提出了一個端到端的框架，通過使用GNN來學習可區分的分子指紋。基於幾何深度學習，Gainza等人提出了分子表面相互作用指紋圖譜，在蛋白質參與相似相互作用可能共享共同指紋的假設下，捕捉針對特定生物分子相互作用而優化的指紋。最近，Li等人利用自適應GCN學習分子表示，同時考慮了三維分子結構的拓撲不變性和旋轉不變性。
3.1.2 分子性質預測
分子性質的準確預測對化合物設計和藥物開發至關重要。Gilmer等人提出了一個統一的框架消息傳遞神經網路(MPNN)，並在分子性質預測基準上展示了優越的性能。為了保留分子的空間聯繫資訊，Wang等人利用分子圖數據引入了卷積空間圖嵌入層(C-SGEL)來研究分子的性質。多層C-SGEL被集成為卷積空間圖嵌入模型，並融合分子指紋來預測分子性質。Wieder等人對具有不同結構的GNN進行了一項關於預測分子性質的綜述。
3.1.3 分子圖生成
設計或生成具有所需性質的分子是藥物發現和開發中的一個具有挑戰性的問題。現有的圖生成模型的目標是直接對聯合分布進行建模。Jin等人提出了一種基於VAES的方法來生成連接樹結構的化學子結構，然後使用圖消息傳遞網路將它們組合成圖。Shih等生成分子圖的自回歸模型。他們將圖的生成描述為一個連續的決策過程，在每一步中生成一個新原子，然後確定生成的原子與現有原子之間的鍵。Zang等人提出了一個基於可逆流的分子圖生成模型，在分子圖生成和重構、性質優化等方面取得了最好的性能。最近，Mahmod等人提出了一個分子圖生成模型，該模型使用簡單的MPNN-GNN學習掩蔽圖分量的條件分布，給定圖的其餘部分。
3.2 多組學中的圖表示學習
多組學(Multi-omics)研究是探究生物系統中多種物質之間相互作用的方法。
多組學數據的綜合分析已成為生命機制研究的新方向。圖表示學習是加速關係多組學數據分析的有價值的工具，包括基因組學、蛋白質組學和轉錄組學。
3.2.1 基因組學圖分析
Li等人提出了一種基於LINE的單細胞表示學習方法，通過從基因表達數據和路徑先驗中考慮基因與基因的關聯來學習對單細胞高通量RNA測序(scRNA-Seq)數據有意義的表示。Li等人將各種基因組和表型圖合併到一個異構多重圖中，並開發了一種基於隨機遊走的疾病基因識別方法。GCN-MF結合了GCN和矩陣因式分解來發現基因與疾病的關聯。通過使用基因表達矩陣的一個子集，Yang等人提出了一個統一的圖變分生成對抗性網路模型(CONDGEN)，該模型集成了GCN、VAE和GAN生成圖的框架。Rhee等人將基因表達數據組合成PPI圖，並將其作為GCN的輸入，定義了一個關係網路，以圖卷積層加權的邊為優先，表示關聯的基因集。
3.2.2 蛋白質組圖分析
蛋白質是生命活動的直接載體，蛋白質組學在闡明生命活動和複雜疾病的分子機制方面發揮著重要作用。
You等人利用基於IsoMap的嵌入方法對PPI網路中的蛋白質節點進行編碼。他們在嵌入空間中測量蛋白質之間的相似性以預測PPI。屬性網路嵌入方法Graph2Go融合了蛋白質的屬性特徵和圖嵌入，採用VGAE和GCN進行蛋白質功能推斷和GO。姚等人通過去除用於蛋白質複合體檢測的可靠性低的PPI來堆疊GCN，以便構建更可靠的PPI網路。
3.2.3 轉錄組圖分析
生物體的轉錄組含有大量的非編碼RNA，包括miRNA、lncRNA、CircRNA等，它們在基因表達、細胞發育和各種生命活動中發揮著重要作用，與複雜的人類疾病密切相關。
MMGCN開發了一種基於多視角、多通道注意力的GCN來預測miRNA與疾病的關聯。Sheng等人構建了一個三層異構圖，以整合miRNA、lncRNA和疾病之間的相似性和關聯性。他們還提出了結合隨機遊走、卷積自動編碼器和VAE的異構屬性嵌入方法VADLP，利用注意力機制學習節點特徵來預測lncRNA與疾病的關聯。Wang等人提出了一種基於FastGCN的方法GCNCDA，通過合併疾病語義相似性資訊和CircRNA的GIP來預測CircRNA與疾病的關聯。在我們以前的工作中，我們提出了一個分子關聯網路，系統地集成了miRNA、lncRNA、CircRNA、mRNA、蛋白質、微生物、藥物和疾病之間的全面關聯，並提出了基於SDNE和node2vec的學習節點嵌入的方法。融合節點嵌入和節點屬性來預測分子間關係，如lncRNA-蛋白質相互作用和miRNA-疾病關聯。
3.3 藥學中的圖表示學習
現代製藥投資大、周期長、失敗風險高。圖表示學習通過集成化合物化學資訊、靶點相互作用和臨床數據(如副作用和藥物組合資訊)，可以加速藥物發現和藥物重新定位。
3.3.1 藥物-靶點相互作用(DTI)預測
Zong等人應用藥物-靶點-疾病三邊圖的Deepwalk來預測藥物-靶點相互作用(DTI)。趙等人融合了DTI和藥物-蛋白質對之間的聯繫，並提出了一種基於GCN的方法來編碼藥物-蛋白質對的特徵來推斷DTI。基於異構圖表示學習，Peng等人提出了一種基於GCN的端到端學習方法來預測DTI。他們考慮了藥物、蛋白質、疾病和副作用之間的聯繫。塔法爾等人使用node2vec學習藥物和靶標的表示，並計算藥物-藥物、藥物-靶標和靶標-靶標之間的相似性。阮等人介紹了將藥物編碼為圖的GraphDTA，並應用GNN預測藥物與靶標的結合親和力。藥物-疾病關聯預測能準確預測出藥物合疾病之間的關聯，可以發現現有藥物的新適應症或推廣新葯治療疾病，即所謂的藥物重定位。Zhang等人提出了一種基於相似性約束圖因式分解的方法，利用已知的藥物-疾病關聯、藥物特徵和疾病語義資訊來預測藥物-疾病關聯。通過使用Deepwalk、LINE、SDNE和HOPE等圖嵌入方法，郭等人將醫學主題詞表示為藥物-疾病圖，以學習藥物和疾病的嵌入。Yu等人構建了一個由已知的藥物-疾病關聯、藥物-藥物相似性和疾病-疾病相似性組成的異構圖，並提出了分層注意力GCN來學習藥物和疾病的嵌入，以預測藥物-疾病關聯。
3.3.2 藥物-藥物相互作用(DDI)預測
藥物-藥物相互作用(DDI)會影響不同藥物組合的效果，甚至導致嚴重的不良反應。有效的DDI預測對患者和降低藥物開發成本至關重要。
基於多數據源，Karim等人將各種KGE方法與卷積LSTM和經典機器學習分類器相結合用於DDI預測。他們形成了一個由數據集DrugBank、PharmGKB和KEGG中的藥物特徵組成的知識圖譜。Park等人開發了一種基於注意力的GCN，用於從生物醫學文獻中提取DDI。為了提高現有DDI預測方法的可擴展性和穩健性，Chen等人探索了一種基於圖表示學習的方法來更準確地預測DDI。Celebi等人比較和評價了用於預測DDI的不同KGE方法，並在不相交交叉驗證下測試了DDI預測任務。
3.4 醫療保健中的圖表示學習
最近的基於圖表示學習的計算方法也被用於集成和利用多模式醫療系統數據，如生物醫學知識圖、電子健康記錄(EHR)、電子病歷(EMR)和生物醫學影像，以更好地實現個性化醫療。EHR或EMR通常由具有層次結構的國際疾病分類程式碼來表示，它可以自然地表示為全面的醫學知識圖。也可以涉及疾病癥狀、分子資訊、藥物相互作用和副作用資訊。
為了促進醫學和醫療保健中的臨床決策支援系統，Rotmensch等人開發了一種自動化方法，用於從EMR中挖掘和構建連接疾病和癥狀的高品質醫學知識圖譜。Ruiz等人提出了一種解釋疾病治療的有效方法，他們將多個受疾病干擾的蛋白質、藥物靶點和生物功能整合到一個多尺度的交互組中，並開發了一種基於隨機遊走的方法來捕捉藥物如何通過PPI和生物功能發揮作用。多尺度交互作用組預測與疾病治療相關的藥物疾病關聯、蛋白質和生物功能，並預測影響治療效果和不良反應的基因。基於腦部磁共振成像影像，Song等人提出了對阿爾茨海默病進行分類的方法。Wu等人在中提出了ME2Vec來學習EHR中一般實體的連續低維嵌入，將醫療服務、醫生和患者分別用word2vec、GAT和LINE嵌入。為了避免手動標記電子病曆數據的限制，Sun等人提出了一種基於廣義神經網路的疾病預測模型，利用外部知識庫對不足的電子病曆數據進行擴充，以患者病歷圖和醫學概念圖為基礎學習疾病、癥狀和患者的有效表示。他們進一步研究了GAT和圖同構網路聚集器以進行比較。此外，Choi等人提出了一種圖卷積變換來學習EHR的隱藏結構，而不是將EHR數據視為扁平結構的特徵袋。
4.挑戰和機遇
儘管圖表示學習在不同的生物醫學任務中顯示出了良好的結果，但多組學數據集成將繼續促進生物和醫學研究。然而，目前關於生物醫學圖的圖表示學習並不足以在任何條件下為任何生物和醫學圖提供令人難以置信的解決方案。未來的發展方向既有挑戰，也有機遇。
4.1 數據品質
與其他領域乾淨、組織良好的數據相比，生物醫學圖通常稀疏、雜訊和不完整。
同時，收集原始和可靠的數據通常需要耗時和費力的濕實驗，並且需要進行大量的濕實驗。同時，生物醫學數據分散、積累快，缺乏良好的結構。鑒於生物醫學數據的稀疏性和不完全性，更好地集成多源高品質數據並開發有針對性的圖表示學習方法是一個具有挑戰性的問題。
4.2 複雜的圖結構
圖結構在生物醫學和醫療保健應用中具有靈活性和複雜性。人們對同質圖的處理做了各種努力，一些工作考慮了更複雜的圖結構，例如異構圖和時空動態圖(在現實的生物醫學場景中，節點和鏈接可能會出現和消失，圖會隨時間動態變化)。此外，scRNA-seq數據和與領域知識相關的數據也提供了有希望的機會，但這些數據具有複雜的圖表結構。如何處理面向下游應用的複雜生物醫學圖是一個很有前景的問題。
4.3 可解釋性和魯棒性
生物醫學的風險敏感場景對圖表示學習方法的可解釋性和魯棒性提出了更高的要求，而基於神經網路的GNN仍然是黑盒，缺乏可解釋性。因此，解釋深度圖學習結果的能力在決策應用中至關重要。此外，作為許多基於深度學習的模型，如CV和NLP領域，這些圖表示學習方法容易受到對抗性攻擊。更強大和可解釋的圖表示學習方法對於將圖表示學習應用於具有可信解釋和可信防禦的生物醫學問題非常重要。
結論
圖表示學習將全面的圖結構生物醫學數據和先進的機器學習方法聯繫起來，促進了從分子到醫療保健系統的生物醫學研究。在這項工作中，我們對圖表示學習及其在生物資訊學中的應用進行了全面和系統的調查。總結了圖嵌入方法(包括同構圖嵌入、異構圖嵌入、屬性網路嵌入)和新興的GNN(如GRN、GCN、GAE和GGAN)。我們分析了圖表示學習在分子、基因組學、製藥和醫療保健領域的代表性應用。此外，還總結了用於圖表示學習的開源平台和庫。我們相信這項工作可以促進圖表示學習和生物醫學研究。
