AI專家們推薦的「必讀」論文 【Part 2】
- 2020 年 12 月 3 日
- AI
譯者：AI研習社（季一帆）
雙語原文鏈接：『Must-Read』 AI Papers Suggested by Experts – Pt 2
我們之前寫了一篇文章，向大家推薦了一些AI必讀論文，引起很好的反響。現在，我們推出了第二篇文章。這次推薦的論文依然是分量十足、誠意滿滿，各位推薦者都認為自己推薦的論文是AI人員必讀的經典之作，不知各位讀者怎麼看。現在，我們來看看這次入選的是哪些論文吧！
不過在這之前，我還是向您推薦我們之前的那一篇文章，那篇文章也絕對值得一讀。
推薦人：MILA博士研究員，Alexia Jolicoeur-Martineau
推薦論文1：f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization （f-GAN: 使用變分散度最小化訓練生成神經採樣器）- Sebastian Nowozin et al.
//arxiv.org/pdf/1711.04894.pdf
Alexia提出可以將若干分類器視為估計f散度，於是，GAN可以被解釋為最小化估計和散度。在論文中，Microsoft Research的研究人員詳細介紹了相關工作、論文方法和實驗驗證。閱讀原文獲取更多信息。
推薦論文2：Sobolev GAN – Youssef Mroueh et al.
//arxiv.org/pdf/1711.04894.pdf
本文將WGAN-GP中的梯度範數懲罰視為約束鑒別器，從而使其unit-ball具有梯度。論文的數學論證極其複雜，但我們只要記住，關鍵在於可以對鑒別器添加各種各樣的約束。這些限制條件可以防止鑒別器過分嚴格。論文中的Table1非常重要，我曾數次翻閱該論文，只為查看Table1，該表顯示了可用的各種不同約束。閱讀原文獲取更多信息。
推薦人：DeepMind高級研究員，Jane Wang
老實說，我並不會覺得有哪篇論文要比其他論文更重要，因為我認為所有論文都是相互依存的，而科學是協作的成果。但還是要說，就我個人而言，還是會更加偏愛一些論文的，從這些論文中我受益匪淺，但這並不是說其他論文不好。這隻意味着，我個人比較喜歡以下兩篇論文。
推薦論文1：Where Do Rewards Come From? （獎勵從何而來？）- Satinder Singh et al.
//all.cs.umass.edu/pubs/2009/singh_l_b_09.pdf
本文提出了一種通用的獎勵計算框架，在給定適應度函數和環境分佈的情況下，該框架給出了最優獎勵函數的概念。實驗結果表明，在此最佳獎勵函數中，傳統的外在和內在行為概念均有體現。閱讀原文了解更多信息。
推薦論文2：Building machines that learn and think like people （讓機器向人類一樣學習與思考）- Brenden Lake et al
本文回顧了認知科學的進展，表明要想實現真正像人類一樣學習和思考的機器，需要當前研究的創新性改進。具體來說，我們認為這樣的機器應具有以下能力：1）建立可解釋的、可理解的世界因果模型，而不僅僅是解決模式識別問題；2）在物理學和心理學層面進行學習，以支持和豐富機器所學知識；3）利用相關性以及學會學習使機器快速獲取知識，並擴展到新的任務和情況。閱讀原文了解更多信息。
推薦人：WinterLight Labs機器學習負責人，Jekaterina Novikova
推薦論文1：Attention Is All You Need （「笨蛋」，根本問題是注意力）- Ashish Vaswani et al.
在NLP科學家於2017年提出”Attention is All You Need“之後，BERT或GPT-2 / 3等大型預訓練語言模型如雨後春筍般出現。這些模型令人稱奇的結果不僅引起了ML / NLP研究人員的強烈關注，在公眾中也引起波瀾。例如，2019年，OpenAI宣稱GPT-2「太過危險而不能公開」，這說法簡直讓人抓狂，但事實是，GPT-2確實能夠生成與真實新聞無法區分的假新聞。幾周前發佈的GPT-3甚至被稱為「自比特幣以來最大的新聞」。閱讀原文了解更多信息。
推薦論文2：Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data （邁向NLU：關於數據時代的意義，形式和理解）- Emily M. Bender et al.
//www.aclweb.org/anthology/2020.acl-main.463.pdf
AI大熱，但我希望向你潑點冷水，冷靜下來好好看看2020年7月ACL會議的最佳主題論文-「邁向NLU：關於數據時代的意義，形式和理解」。作者認為，儘管現有模型（例如BERT或GPT）成果豐碩，但與人類相比，很難說它們是理解了語言及其含義。作者解釋道，理解是人們在交流中，根據所說話語明白對話意圖時發生的。這樣，如果僅僅是語言文字，沒有現實生活中的交互作用，則不可能學習和理解語言。換句話說，「從一定形式中是學習不到意義的」，這就是為什麼即使巨大且複雜的語言模型也只是學習意義的「映射」，而不能了解意義本身。閱讀原文了解更多信息。
推薦人：加拿大國家銀行，AI科學首席顧問，Eric Charton
推薦論文1：The Computational Limits of Deep Learning （深度學習中的計算極限）- Johnson et al
麻省理工學院和IBM Watson Lab發表的這篇論文對DL出版文獻進行匯總分析，介紹了DL模型訓練計算量的增加與其性能表現間的相關性。同時論文指出，隨着計算能力的提高，模型性能改善呈放緩趨勢。閱讀原文了解更多信息。
推薦論文2：Survey on deep learning with class imbalance（關於類別不平衡的DL綜述）. Journal of Big Data, 6(1), 27.
//link.springer.com/article/10.1186/s40537-019-0192-5
該論文匯總介紹了不同DL算法是如何處理類別不平衡問題，該問題存在於信用建模、欺詐檢測或醫學檢測/癌症檢測等各種工業應用中。論文對不同方法進行比較分析，並着重介紹了各種方法處理類別不平衡數據的差異，為進一步的研究指明方向，閱讀原文了解更多信息。
推薦人：NASA，機器學習主管，Anirudh Koul
也許幾年後回頭看，人們會發現2020年似乎是自我監督元年。自監督學習就是用非標註數據進行預訓練，然後在有限標註的下游任務進行微調。僅在2020年6月之前，眾多SOTA被先後打破，包括但不限於PIRL，SimCLR，InfoMin，MOCO，MOCOv2，BYOL，SwAV，SimCLRv2等眾多自監督學習方法引起廣泛關注。通過以下這個例子來感受一下這些方法究竟多麼讓人稱奇吧。僅僅使用不帶標籤的ImageNet，然後用1％的標籤進行微調，SimCLRv2模型就可以在ImageNet數據集上實現92.3％的Top-5準確性。很神奇吧，僅僅1％的標註就可以取得這樣令人滿意的結果。對於缺少標註數據的領域如醫學、衛星等來說，自監督學習就是這些領域應用的福音。
推薦論文：A Simple Framework for Contrastive Learning of Visual Representations （一個簡單的圖像表示對比學習框架）- Ting Chen et al
//www.aclweb.org/anthology/2020.acl-main.463.pdf
優秀的論文不僅實驗嚴密、結果出色，而且還能簡介明了的向讀者清晰的表達自己的關鍵思想。SimCLR就是如此，簡潔明了，效果出色，這使其成為對比學習領域最值得閱讀論文之一。研究表明，在特定數據集中，通過數據增強策略獲得更好的圖像表示，對於對比學習至關重要。希望更多研究者關注到SimCLR，在X射線、MRI、音頻、衛星圖等領域推動該方法進一步的研究與發展。
推薦人：摩根士丹利副總裁，NLP/ML研究員，Oana Frunza
Revealing the Dark Secrets of BERT （BERT探秘）- Olga Kovaleva et al.
BERT Transformer結構極大推進了機器對文本數據的表示和理解能力，對於NLP的研究發展具有革命性的意義，可以說這就是NLP的「ImageNet」。Transformer架構的關鍵在於自我注意機制，「BERT揭秘」一文便對注意力的背後原理進行了探討。
更準確地說，這項研究量化了注意力頭捕獲的語言信息，包括句法和語義關係等。此外，論文還進一步研究了自我注意模式的多樣性及其對各種任務的影響。
該論文的研究聚焦於深層次理解強大的transformer架構，不僅利於推動該領域的進一步發展，而且有利於研究人員做出更明智的決策。也就是說，如果知道某些精簡的小型體系結構會產生相似的性能，這就意味着在架構設計和空間佔用方面有了更好的選擇。
閱讀原文了解更多信息。
推薦人：積架路虎，高級數據科學家，Tamanna Haque
推薦書籍：Deep Learning with R （R語言深度學習）- François Chollet et al.
本文從概念到實踐對深度學習進行詳細介紹，對於理解深度學習具有重要幫助。由於黑匣子性質，神經網絡不僅訓練成本高昂，而且不具可解釋性。同時，最近數據保護法規的更改將推動可解釋AI的研究，神經網絡受到挑戰。
儘管如此，在某些商業應用中，只有神經網絡才能有效地完成工作，因此掌握神經網絡技術依然至關重要。在我使用R語言進行一年左右的深度學習研究與實踐中，本書是我的良師益友，指導我熟練地使用神經網絡並完成圖像識別項目。
推薦人：伯克利數據科學學院，首席ML科學家兼ML/AI負責人，Mike Tamir
推薦論文1：Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference（錯誤的真正原因：自然語言推理中的啟發式句法診斷）
我推薦的第一篇論文是MaCoy，Pavlick和Linzen的「錯誤的真正原因：自然語言推理中的啟發式句法診斷」，論文表明transformer架構顯著推動了自然語言推理等NLU任務的進步。在技術研究之外，「錯誤的真正原因」強調了基於當前數據集的系統缺陷，這在NLU任務中是致命漏洞。本論文將提醒AI從業者和研究人員保持清醒與理智。閱讀原文了解更多信息。
推薦論文2：Emergence of Invariance and Disentanglement in Deep Representations（深度表示中的不變和解耦）
我推薦的第二篇論文是關於DL信息瓶頸分析的，也就是Achille和Soatto的研究成果「深度表示中的不變和解耦」，閱讀博客了解詳細信息。
推薦人：蒙特利爾AI倫理研究所，創始人，Abhishek Gupta
//montrealethics.ai/the-state-of-ai-ethics-report-june-2020/
推薦論文：The State of AI Ethics Report（AI倫理道德報告）
在蒙特利爾AI倫理研究所，我們一直在關注一些最具影響力的論文，這些論文不僅關注AI倫理的常見問題，而且基於經驗科學並能指導實踐。為此，我們將過去一個季度的工作整理成《 AI倫理道德報告，2020年6月》，用於指導該領域的研究人員和從業人員在實踐過程中遵守AI倫理責任。該報告的內容包括但不限於，NLP模型中對殘疾人的社會偏見，YouTube反饋迴路的潛在缺陷，AI治理，即在AI中實施道德規範的整體方法以及對抗性機器學習-行業觀點。閱讀原文了解更多信息。
AI系統與策略實驗室，首席AI科學家，Jack Brzezinski
推薦論文：The Discipline of Machine Learning（機器學習學科建設）
//www.cs.cmu.edu/~tom/pubs/MachineLearning.pdf
本文簡要介紹了機器學習學科建設綱要，機器學習要解決的基本問題和與其他科學和社會的關係，以及進一步的發展方向。閱讀原文了解更多信息。
AIRAmed，機器學習工程師，Diego Fioravanti
推薦論文：Overfitting（過擬合）
//en.m.wikipedia.org/wiki/Overfitting
Diego認為AI人員要對「過擬合」有清晰完整的了解。本文涉及內容涵蓋統計推斷，回歸等。閱讀原文了解更多內容。
AI研習社是AI學術青年和AI開發者技術交流的在線社區。我們與高校、學術機構和產業界合作，通過提供學習、實戰和求職服務，為AI學術青年和開發者的交流互助和職業發展打造一站式平台，致力成為中國最大的科技創新人才聚集地。
如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學習新知，分享成長。
