Jeff Dean談2020年機器學習趨勢：多任務和多模態會有大進展
- 2019 年 12 月 19 日
- 筆記
2020年，機器學習將會往何處去？
加拿大溫哥華舉辦的NeurIPS期間，在接受外媒VB採訪時，Jeff Dean交出了自己的展望。
他認為，在多任務學習和多模態學習將會有很大進展，以及會出現更加有趣的設備，讓機器學習模型的作用更好地發揮出來。
此外，他還談到了如何利用機器學習構建AI晶片、以及Google對BERT的看法等等。
作為GoogleAI的掌門人，他的思考對於從業者來說，有極大的參考價值。量子位編譯如下：
談BERT：大家有點過分強調SOTA了
問：對BERT來說，今年是重要的一年。到處都是 BERT，還有各種各樣的 BERT。BERT有什麼變化？接下來會有什麼樣的變化？
Jeff Dean：BERT很有趣，是因為它建立在其他研究成果的進展之上。他在某種程度上取決於一年前完成的Transformer工作。
Transformer的工作，實際上是在處理早期基於LSTM的序列模型看到的問題。我認為，整個研究線索在實際生產機器學習模型方面非常有成效。
現在讓我們去處理更加複雜的NLP任務，我們能夠做得更多。在一堆/任意文本上，對預訓練的BERT進行微調，對於許多 NLP 問題來說，這是一個很好的範例，我們希望能解決這些問題。
因此在Google內部，我們也在自己的產品中看到了不同的應用場景，比如我們最近在搜索引擎中應用了BERT來提高搜索品質。
我認為，你也應該在更加廣泛場景中看到了這一點。我們仍然希望看到，能做更多上下文的模型。
就像現在，BERT和其他模型在數百個單詞文本上工作得很好，但在上萬個單詞上就很難處理好了。
這是一個有趣的方向。我認為多模態模型非常有趣。可以用有趣的方式將文本與影像、音頻或影片結合起來。
我們已經在這方面做了一些工作，社區的其他成員也做了一些工作，但我認為這在未來會變得更加重要。我相信，人們會基於BERT進行改進。
因此，基礎研究也將繼續下去。
問：是的，我看到了很多MT-DNN、 RoBERTta之類的東西。
Jeff Dean：是的，它們每個都有一個可愛的名字。但我確實認為，大家有點過分強調在某些特定問題上取得前所未有的、稍微好一點的、最先進的結果。
以及對完全不同的解決問題的方法有點缺乏欣賞。因為很難，這些方法可能沒有達到最先進的水平，但它們是一個非常值得探索的領域。
問：比如魯棒性？
Jeff Dean：是的，或者「是認為用完全不同的方式來解決一個問題很重要，並看到了希望」。如果人們追求這些方向，那將會很有趣。
問：而不是試圖登上GLUE排行榜的榜首？
Jeff Dean：是的。
談AI晶片：後摩爾定律時代，專用晶片很有效
問：在後摩爾定律的世界裡，需要記住哪些東西？
Jeff Dean：用專門的晶片而不是用CPU來做非通用的計算，已經被證明非常有效。
比如TPU或者GPU，雖然有很多限制，但它們是圍繞著機器學習計算需要做什麼而設計的，相對於通用GPU，這帶來了很大的性能優勢。
因此，我們很難看到過去那種算力的大幅度增長，但我們正在通過專業化，來獲得更大的架構優勢。
問：對機器學習在創建機器學習硬體方面的應用，你能詳細說說嗎？
Jeff Dean：在將機器學慣用到ASIC晶片設計方面，我們已經做了一些早期工作，尤其是電晶體布局和它們如何連接的。
基本上，現在在設計過程中，已經有一些工具可以幫助布局，但也需要有人工布局和布線專家，來完成多次迭代。
從你想要的設計開始，到把它放在一個晶片上，並在面積、功率和導線長度方面有正確的限制，同時還要滿足所有設計規劃或製作製程，這通常需要一個多星期的時間。
所以事實證明，在一些工作中，我們可以使用機器學習來做更多的自動布局和布線。
我們基本上可以有一個機器學習模型，去針對特定晶片玩ASIC放置的遊戲。我們內部一直在試驗的一些晶片上，這也取得了不錯的結果。
談2020年：多任務學習和多模態學習會有大進展
問：你認為在2020年人工智慧領域會出現哪些趨勢或里程碑？
Jeff Dean：我認為，在多任務學習和多模態學習方面會有很大進展，解決更多的問題。我覺得那會很有趣。
而且我認為，將會有越來越有效的設備（手機或其他類型的設備）出現，來讓模型更有效地發揮作用。
此外，與人工智慧原則相關的工作顯然是重要的。但對於Google來說，我們是一個足夠大的研究機構，我們有很多不同的推動力，很難說只有一個。
但總的來說，我們將進一步發展最先進的技術，進行基礎的基礎研究，以提高我們在許多重要領域的能力，比如NLP、語言模型或多模態的東西。
同時，我們也會與我們的同事和產品團隊合作，為產品應用做一些研究，使他們能夠構建有趣的功能和產品。
我們將做一些Google目前還沒有，但用了機器學習會很有趣的應用，比如我們一直在做的晶片設計工作。
問：比如日常的機器人？
Jeff Dean：是的，我們在機器人研究方面做了大量的工作。我認為，讓機器人在某種隨意的環境中工作，真的是一個很難解決的問題。
但在過去的幾年裡，我們在這方面也取得了相當大的進展，我認為這也是一個有趣的研究方向。我們正在努力推進。
源報道鏈接： https://venturebeat.com/2019/12/13/google-ai-chief-jeff-dean-interview-machine-learning-trends-in-2020/
