機器學習如何理解輸入？Google遞歸草圖演算法再戰AI黑盒

許多經典機器學習專註於利用可用數據來進行更準確的預測。最近，研究人員已經考慮了其他重要目標，例如如何設計小巧，高效和穩健的演算法。

考慮到這些目標，自然研究目標是在神經網路之上設計一個系統，有效地存儲在其中編碼的資訊。換句話說，就是使用一種機制來計算複雜深度的簡潔摘要（稱之為「草圖」）網路，來處理其輸入。

草圖是一個豐富的研究領域，可以追溯到Alon，Matias和Szegedy的基礎工作，它可以使神經網路有效地總結有關其輸入的資訊。

在最近在ICML 2019上發表的「模組化深度學習的遞歸草圖」中，Google研究人員探討了如何簡潔地總結機器學習模型「如何理解其輸入」。通過增加現有的（已經訓練的）機器學習模型來實現這一目標，其中包含計算的「草圖」，使用它們有效地回答基於記憶的問題。

基本草圖演算法

通常，草圖演算法採用向量x並生成輸出草圖向量，其行為類似於x，但其存儲成本要小得多，從而允許人們簡潔地存儲關於網路的資訊，這對於有效地回答基於存儲器的問題是至關重要的。

在最簡單的情況下，線性草圖x由矩陣向量乘積Ax給出，其中A是寬矩陣，即列數等於x的原始維數，行數等於新的減少的行數尺寸。

這些方法已經為大規模數據集的基本任務提供了各種有效的演算法，例如估計基本統計（直方圖，分位數和四分位數範圍），查找熱門項目（稱為頻繁元素），以及估計數量。不同的元素（稱為支援大小）和規範和熵估計的相關任務。

這種基本方法在線性回歸的相對簡單的情況下運行良好，其中可以簡單地通過權重的大小來識別重要的數據維度（在它們具有均勻方差的共同假設下）。

然而，許多現代機器學習模型實際上是深度神經網路並且基於高維嵌入（例如Word2Vec，影像嵌入，Glove，DeepWalk和BERT），這使得在輸入上總結模型的操作的任務更加困難。不過這些更複雜的網路的大部分是模組化的，允許我們生成準確的行為草圖。

神經網路模組化

模組化深度網路由幾個獨立的神經網路（模組）組成，這些神經網路僅通過一個輸出作為另一個輸入進行通訊。這個概念啟發了幾個實用的架構，包括神經模組網路，膠囊神經網路和PathNet。

也可以將其他規範體系結構拆分為模組化網路並應用我們的方法。例如，卷積神經網路（CNN）傳統上被理解為以模組化方式運行；它們檢測較低層中的基本概念和屬性，並構建為檢測更高層中更複雜的對象。在此視圖中，卷積內核對應於模組。給出了模組化網路的卡通描述。

草圖要求

為了優化對這些模組化網路的方法，研究人員確定了網路草圖應滿足的幾個所需屬性：

草圖到草圖的相似性：兩個不相關的網路操作的草圖（無論是根據當前模組還是根據屬性向量）應該是非常不同的；另一方面，兩個類似網路操作的草圖應該非常接近。
屬性恢復：屬性向量，例如，圖的任何節點的激活可以近似地從頂級草圖中恢復。
摘要統計：如果有多個類似對象，我們可以恢復有關它們的摘要統計資訊。例如，如果影像有多隻貓，我們可以計算它們的數量。請注意，我們希望在不事先了解問題的情況下執行此操作。
優雅擦除：擦除頂級草圖的後綴可保持上述屬性（但會平滑地增加錯誤）。
網路恢復：給定足夠多（輸入，草圖）對，可以近似恢復網路邊緣和草圖功能的布線。

草圖網路的機制

Google提出的草圖繪製機制可以應用於預先訓練的模組化網路。它生成一個單一的頂級草圖，總結了該網路的運行，同時滿足上述所有需要的屬性。要了解它是如何做到這一點的，首先考慮單層網路是有幫助的。

在這種情況下，我們確保將與特定節點有關的所有資訊「打包」到兩個獨立的子空間中，一個子節點對應於節點本身，另一個子節點對應於其關聯的模組。

使用合適的映射，第一個子空間讓我們恢復節點的屬性，而第二個子空間便於快速估計匯總統計。兩個子空間都有助於強制執行上述草圖到草圖的相似性屬性。如果所有涉及的子空間都是隨機獨立選擇的，就證明這些屬性成立。

當然，在將這個想法擴展到具有多個層的網路時，必須格外小心 - 這會導向我們的遞歸草圖機制。

由於它們的遞歸性質，這些草圖可以「展開」以識別子組件，甚至捕獲複雜的網路結構。最後，我們利用設置訂製的字典學習演算法來證明構成草圖機制的隨機子空間與網路架構一起可以從足夠大量的（輸入，草圖）對中恢復。

未來發展方向

簡明扼要地總結網路運作的問題似乎與模型可解釋性密切相關。調查草圖文獻中的想法是否可以應用於這個領域將是有趣的。草圖也可以在存儲庫中組織，以隱式形成「知識圖」，允許識別和快速檢索模式。

此外，Google的草圖繪製機制允許將新模組無縫添加到草圖存儲庫中 - 探索此功能是否可以應用於體系結構搜索和不斷發展的網路拓撲結構將會很有趣。

最後，Google的草圖可被視為在存儲器中組織先前遇到的資訊的方式，例如，共享相同模組或屬性的影像將共享其草圖的子組件。

這在很高的層次上類似於人類使用先驗知識識別物體並概括為未遇到的情況的方式。

Tags: