亞馬遜：自動選擇AI模型，進化論方法效率更高！

• 2019 年 10 月 7 日
• 筆記

【新智元導讀】亞馬遜稱，進化論可以幫助AI模型的選擇。選擇架構是構建AI模型的關鍵步驟。研究人員表示，鑒定遺傳演算法和協同進化演算法的性能指標取決於彼此之間的相互作用，是尋找最佳（或接近最佳）AI模型架構的最實用方法，可以適用於任何計算模型。

選擇架構是構建任何AI模型的關鍵步驟，但是說起來容易做起來難。除了由「 AutoML」系統生成的可根據基本任務概述工作的內容之外，關於模型架構的設計還要結合歷史先例、領域內的知識以及反覆試驗的獲得的知識。

在上周於慕尼黑舉行的國際人工神經網路國際會議上發表的一篇論文（「關於函數逼近的界限」）中，來自亞馬遜的研究人員探索出了一種可適用於任何計算模型的技術，條件是該模型可以計算出與圖靈機相同的功能。（這裡的「圖靈機」是指定義抽象機的模型，可以根據規則來操縱符號。）

「無論使用哪種學習演算法，選擇哪種體系結構或調整訓練參數（例如批規模或學習率），選擇神經體系結構都不可能為給定的機器學習問題提供最佳解決方案，」Alexa AI機器學習平台服務組織的研究工程師，論文的主要作者溫特表示。「只有考慮到儘可能多的可能性，才能確定一種在理論上保證計算準確性的體系結構。」

為此，研究團隊評估了函數逼近問題的解決方案，這是AI演算法搜索參數以逼近目標函數輸出的方式的數學抽象方法。研究人員將其重新制定為發現一個估計目標函數輸出的已知函數序列的問題，以獲取更大的系統建模優勢。

研究人員的研究表明，應該選擇AI模型的組成部分，以確保它們具有「圖靈等效性」。研究人員認為，最好通過自動搜索來識別模型，使用程式來設計特定任務的AI模型架構。這種搜索中的演算法會首先生成用於解決問題的其他候選演算法，然後將性能最佳的候選者彼此組合併再次進行測試。

「本文中……可立即應用的結果是鑒定遺傳演算法，更具體地說，是協同進化演算法，其性能指標取決於彼此之間的相互作用，這是尋找最佳（或接近最佳）架構的最實用方法，」論文作者寫道。「基於經驗，許多研究人員得出的結論是，協同進化演算法提供了構建機器學習系統的最佳方法。但是本文中的函數逼近框架有助於為他們的直覺提供更安全的理論基礎。」

亞馬遜並不是唯一一個倡導採用進化方法進行AI架構搜索的機構。今年7月，Uber為名為EvoGrad的進化演算法開源了開發資源庫。去年10月，Google推出了AdaNet，這是一種用於組合機器學習演算法以獲得更好的預測觀點的工具。