Jeff Dean談2020年機器學習趨勢：多任務和多模式學習將成為突破口

• 2019 年 12 月 18 日
• 筆記

來源：venturebeat

編輯：元子

【新智元導讀】GoogleAI負責人Jeff Dean 近日接受專訪，討論了2020 年機器學習領域趨勢，他認為在規模更大的多任務學習和多模式學習方面，AI將取得新的里程碑。而正如Google在Transformer上的工作引領了NLP領域的發展，Jeff Dean認為應該將重點放在基礎研究上。

在加拿大溫哥華舉行的NeurIPS 2019會議上，機器學習成為最大的焦點。來自全世界各地的13000名研究人員探索了諸如神經科學、如何解釋神經網路輸出，以及AI如何幫助解決現實世界中的重大問題等。

會議上不僅有超過1400份作品展示，同時也會有各種AI的頂級專家、意見領袖等出席並進行演講。

其中Google AI負責人Jeff Dean在研討會上進行演講，討論機器學習如何幫助應對氣候變化帶來的威脅以及機器學習如何重塑系統和半導體。

相信很多人對Google在使用ML創建機器學習半導體方面的早期工作、Google的BERT對會話式AI的影響以及2020年值得關注的機器學習趨勢非常感興趣。VentureBeat就上述問題採訪了Jeff Dean，以下是具體採訪內容。

Jeff Dean（以下簡稱Dean）：這顯然是一個非常廣闊的領域，使用機器學習來幫助解決與氣候變化相關的話題、或減輕某些影響的潛力很大。我認為Google和整個AI社區都感到非常興奮。因為這是一個嚴重的問題，而且背後有很多技術問題。

VentureBeat：NeurIPS有哪些讓你覺得特別興奮的工作嗎？

Dean：可能不是所有都那麼令人興奮吧，但是我們還是對很多項目都進行了內部討論。而且我認為，在如今機器學習領域，整體而言是相當多產的，因此也很難說能夠面面俱到一應俱全的掌握所有的內容，不過也可以通過搜集一批大家可能認為比較重要的觀點（作為一種篩選機制）。

VentureBeat：在arXiv上有你關於機器學習硬體發展的評論，那麼你認為在後摩爾定律世界中，人們需要牢記哪些事情？

Dean：我認為已經被證明非常有效的一件事情，是晶片的專門化（相對例如通用CPU而言）用以執行一些並非完全通用的、某些特定類型的計算。因此，我們已經從更嚴格的計算模型（例如GPU甚至TPU）中受益匪淺。這些模型更為嚴格，但實際上是根據機器學習計算需要做的事情而專門設計的。相對於通用CPU，這實際上帶來了相當多的性能優勢，例如我們通過專業化獲得了巨大的架構優勢。

VentureBeat：你還了解使用機器學習來創建機器學習硬體的知識。你能談談更多嗎？

Dean：是的，這是我星期六要講的另一個話題，我會在ML for Systems研討會上詳細介紹，主要會談論我們已經在ASIC晶片設計的機器學習中進行了哪些早期工作，特別會講到布局和布線。就是你有一個晶片設計，然後有很多電晶體以及它們的連接方式。

基本上，現在在設計過程中，一方面擁有可以幫助進行某些布局的設計工具，另一方面還擁有人工布局和布線專家，從而可以使用這些設計工具進行多次重複的迭代。

從你想要的設計開始，到實際上將其物理布局在晶片上，並在面積，功率和導線長度方面有適當的限制，同時還要滿足所有設計角色或正在執行的任何製造過程，這通常需要花費數周的時間。

事實證明，我們在某些工作中可以使用機器學習來進行更多自動化的布局和布線。而且，我們基本上可以擁有一個機器學習模型，該模型可以學習為特定晶片玩ASIC遊戲。我們在嘗試的一些內部晶片上都取得了不錯的結果。

VentureBeat：關於氣候變化問題，Intel AI總經理Naveen Rao提到每瓦計算應該成為一個標準基準測試，一些組織者希望能夠提供模型訓練時候的碳足跡。我猜想對大型模型（如XLNet）的批評是製造和部署它們所需的能量。

Dean：是的，我們對此感到很興奮，因為我們在Google數據中心訓練的所有內容–碳足跡為零。我認為有一個普遍的觀點，即這些大型模型中的一些模型是計算密集型的，並且在能源使用方面相當昂貴。

我認為諸如多任務學習和遷移學習之類，實際上是可以改善能源使用的相當有效的演算法工具，因為你可以訓練一個模型，然後對其進行微調，或者針對相對較少的示例進行多任務學習，這幾乎是當前的慣例。

VentureBeat：對於BERT來說，這是重要的一年。到處都是BERT，以及各種BERT。人們接下來應該看到的BERT會有哪些變化，或者即將出現？

Dean：BERT之所以有趣，是因為它建立在其他研究成果不斷發展的基礎上。因此，BERT的種類取決於一年前完成的Transformer工作。Transformer工作確實是在解決與基於LSTM的早期序列模型相同的問題。我認為整個研究執行緒在實際產生機器學習模型方面非常富有成果，現在要完成的機器學習模型比過去更複雜。

對在一堆文本（任意文本）上進行預訓練的BERT的微調，然後對你關心的特定NLP任務進行微調，對於許多我們希望能夠解決的NLP問題來說，是一個很好的範例。因此，在Google內部，我們正在研究產品中許多不同類型的應用程式。你知道我們只是在搜索堆棧中推出了一些內容以提高搜索品質。

我想你也在更廣泛的社區中也看到了這一點。我們仍然希望能夠執行更多上下文相關的模型。像現在這樣，BERT和其他模型可以很好地處理數百個作為上下文的單詞，但10000個單詞就處理不了。

因此，這是一個有趣的方向。我認為多模態模型非常有趣，例如你可以通過有趣的方式將文本與影像，音頻或影片相結合。我們已經做了一些工作，社區的其他成員也做了一些工作，但是我認為這在將來將變得越來越重要。而且我敢肯定，人們會發現BERT所採用的基本方法有所改進。我們有一些小的甚至是重大的改進。

因此，基礎研究的重點將繼續。無論是在Google內部還是外部，我們很興奮。

VentureBeat：對模型魯棒性的追求勝過登上GLUE排行榜的榜首？以及明年Google將面臨哪些技術或道德挑戰？

Dean：是的，或者就像「找出解決一個問題的大量完全不同的方法，並能夠保證效果，對我們來說非常重要」。

就AI或機器學習而言，我們已經完成了一個相當合理的工作，並建立其一個流程。通過該流程，我們可以了解如何在與AI原理一致的不同產品應用和領域中使用機器學習。該過程已經得到了更好的調整，並通過模型卡之類的東西進行了潤色。

然後，我認為在許多原則領域中，存在真正的開放研究方向，可以幫助我們解決公平和偏見以及機器學習模型或安全性或隱私問題。但是，我們需要繼續在這些領域中進行長期研究，以提高技術水平，同時我們目前將最著名的最新技術應用於我們的工作中。

VentureBeat：你預計會出現哪些趨勢，或者你認為在2020年AI可能會超越哪些里程碑？

Dean：我認為我們將看到比以前解決的更大的多任務學習和多模式學習。我認為那會很有趣。而且我認為，將有一種持續的趨勢，那就是在更有趣的設備（或諸如手機之類的消費類設備）上，模型能夠更有效地工作。

我認為與AI相關的原理相關工作顯然很重要。我們是一個足夠大的研究機構，實際上我們正在做許多不同的工作，因此很難一一列舉。但我認為，總的來說，我們將發展最先進的技術，進行基礎研究，以提高我們正在關注的許多重要領域的能力，例如NLP或語言模型或視覺或多模式事物。

但同時，還要與我們的同事和產品團隊合作，進行一些準備用於產品應用的研究，以使他們能夠構建有趣的功能和產品。我們將做一些Google目前還沒有的新事物，但它們是ML的有趣應用，例如我們一直在進行的晶片設計工作。

例如民用機器人。我們進行了大量的機器人研究工作。我認為機器人技術是一個非常棘手的問題，要使機器人能夠在任意環境中運行。

參考鏈接：

Google AI chief Jeff Dean interview: Machine learning trends in 2020