獨家 | 年度盤點！必看AI高峰會論文、Github高星項目大合集（附鏈接）
- 2019 年 11 月 29 日
- 筆記
AAAI 2019獲獎論文
論文1:How to Combine Tree-Search Methods in Reinforcement Learning
作者：Yonathan Efroni、Gal Dalal、Bruno Scherrer 和 Shie Mannor
論文地址：https://arxiv.org/abs/1809.01843
推薦：這篇論文獲得了傑出論文獎。有限時長的前瞻策略方法在強化學習中有著廣泛的應用，這類方法在實證研究中展現出了優秀的價值。通常，前瞻策略方法在應用的時候都會搭配一些具體的規劃方法，比如蒙特卡洛樹搜索（AlphaZero 中就是這樣做的）。對於看作是樹搜索的規劃問題，演算法實現中的一種合理做法是只在葉子節點上備份值，同時在根節點上獲得的值只會用來更新策略。在這篇論文中，作者們質疑了這種方法的表現。具體來說，這種做法並不具備一般化的收縮性，也無法保證收斂。作者們提出的改進方法思路直接而且簡單：用最優的樹路徑的返回值備份根節點的子節點的值。這會帶來 γh的收縮過程，其中 γ 是折扣係數，h 是樹的深度。為了表明這種方法的效果，作者們首次提出了一個名為"多步貪婪持續性"的想法。作者們編寫了兩個以上改進的演算法實例，並在樹搜索階段和值估計階段都注入雜訊的狀況下提供了收斂速率結果。
論文2:Solving Imperfect-Information Games via Discounted Regret Minimization
作者：Noam Brown、Tuomas Sandholm
論文地址：https://arxiv.org/abs/1809.04040
推薦：這篇論文獲得了傑出論文榮譽提名獎。反事實後悔最小化（CFR）是一類最為火熱的迭代演算法，而且在實際應用中也是可以最快逼近解決大規模非完全資訊博弈的方法。這篇論文中作者們提出了一種新的 CFR 變體，它的特點是：
- 通過多種不同的方式，給較早的迭代中的後悔值打上折扣（在某些情況下，正值和負值的折扣比例會有所不同）；
- 迭代得到輸出策略的過程中，通過多種不同的方式給不同的迭代賦予不同的權重；
- 使用了一個非標準的後悔最小化優化器；
- 使用了"樂觀後悔匹配"。
在多種設定下，這些改進都可以讓方法的表現得到大幅度提高。具體來說，作者們提出的某一種變體在所有測試了的博弈中都比此前的最佳表現演算法 CFR+ 表現更好，包括在一些大規模的真實設定中。而此前，CFR+ 一直是一個令人敬畏的基準模型，沒有任何別的模型表現比它更好。最後作者們也展示了，與 CFR+ 不同，根據作者們提出的改進點設計的新 CFR 變體與現有的許多非完全資訊博弈中的剪枝策略都是兼容的，而且其中也有一種和博弈樹中的取樣兼容。
論文3:Zero Shot Learning for Code Education: RubricSampling with Deep Learning Inference
作者：Mike Wu、Milan Mosse、Noah Goodman 和 Chris Piech
論文鏈接：https://arxiv.org/abs/1809.01357
推薦：這篇論文獲得了傑出學生論文獎。在現代電腦科學教育中，大規模開放在線課程（MOOCs）在提供在線教育的同時也會記錄下數千小時的學習過程，其中包括了學生如何解決編程題目的過程。既然手握這麼多數據，這些平台也就引起了機器學習領域的研究人員們的興趣，他們開發了許多新的演算法，嘗試以提供自動化回饋的方式幫助未來的學生們更好地學習。不過，提供了最初的幾十萬小時的訓練數據的學生們怎麼辦呢？在大多數教學場景下，想要為課後作業設計監督學習系統都會遇到歷史數據不足的問題。
在這篇論文中，作者們提出了一種人參與其中的"提示取樣"方法，專門用來處理早期的"無樣本學習"問題。對於在入門難度的編程作業中提供自動回饋的任務，相比於以往的需要數據餵養的方法，作者們提出的新方法為第一批學生們提供的回饋有顯著的品質提高，而且接近了人類級別的可信度。提示取樣需要老師付出的精力最小，可以提供和學生的回答的具體部分相關的回饋，而且可以使用指導者的語言指出學生的誤解之處。深度學習推理的使用，讓指示取樣在未來有更多基於不同的作業的學生數據可用時也能發揮出更好的表現。作者們從全世界最大的編程教育平台 Code.org 採集了一個新數據集並在上面展示了方法的表現。
論文4:Learning to Teach in Cooperative Multiagent Reinforcement Learning
作者：Shayegan Omidshafiei、Dong-Ki Kim、Miao Liu、Gerald Tesauro、Matthew Riemer、Christopher Amato、Murray Campbell 和 Jonathan P. How
論文鏈接：https://arxiv.org/abs/1805.07830
推薦：這篇論文獲得了傑出學生論文榮譽提名獎。人類個體的創新行為可以通過溝通教會別的人，人類集體智慧的提升顯然從這種做法中受益匪淺。與人類社會群體類似，分散式學習系統中的智慧體也許也可以從溝通中獲益，可以分享知識、教授技能。此前已經有工作研究過如何通過教學的方式幫助智慧體學習，但是這些方法做出的假設讓它們無法在一般的多智慧體問題中進行教學，又或者先需要它們要解決的問題的領域知識。這種學習教學的問題本身就有很高的複雜度，而且還要測量教學的長期影響，這在標準的多智慧體協調問題上又增加了許多難度。
與現有研究不同，這篇論文首次為多智慧體環境中的智慧智慧體學習教學問題提出了一個通用的框架和演算法。作者們提出的演算法，"學習協調與學習強化"（LeCTR），針對的是合作多智慧體強化學習中的點對點（peer2peer）教學。方法中的每個智慧體都要學習如何指導、指導什麼內容，然後使用接收到的建議改進自己的學習。重要的是，這些角色並不是固定的；智慧體們會學習在不同的時間決定別的智慧體是學生還是老師的角色，對應地提供指導或者接受指導，以便提高整個團體範圍內的表現和學習能力。與當前最好的方法之間的比較表明，作者們提出的教學智慧體不僅顯著地學習更快，而且也可以在現有方法無法解決的問題中學會協調。
論文5:Content-Boosted Collaboratie Filtering for Improed Recommendations
作者：Prem Melville、Raymond J. Mooney 和 Ramadass Nagarajan
論文鏈接：
https://www.cs.utexas.edu/~ml/papers/cbcf-aaai-02.pdf
推薦：這篇論文獲得了經典論文獎。大多數推薦系統使用協作過濾或基於內容的方法來預測用戶感興趣的新項目。雖然這兩種方法各有優勢，但若單獨使用它們，在大多數情況下都無法提供好的建議。若將兩種方法結合起來構成一個混合推薦系統，則可以克服這些缺點。在本文中，作者提出了一個漂亮且有效的框架，用於結合內容和協作。作者使用了基於內容的預測器來增強現有用戶的數據，然後通過協作過濾提供個性化建議。我們的實驗結果顯示這種方法（內容增強的協作過濾）比純內容預測器、純協作過濾器或簡單混合方法的性能都要更好。
ICCV 2019獲獎論文
論文1:SinGAN：Learning a Generative Model From a Single Natural Image
作者：Tamar Rott Shaham， Tali Dekel， Tomer Michaeli
論文地址：https：//arxiv.org/abs/1905.01164
源碼地址：
https：//github.com/tamarott/SinGAN
推薦：這篇論文獲得了最佳論文獎。該文將GAN帶入了一個新領域--從單幅自然影像中學習非條件生成模型。對單幅自然影像中的影像內部分布進行建模已被公認為是許多電腦視覺任務的有用先驗，單幅自然影像通常具有足夠的內部統計資訊，可以使網路學習到一個強大的生成模型。作者提出了一種具有簡單統一架構的模型SinGAN，能夠處理包含複雜結構和紋理的普通自然影像，而不必依賴於具有同一類別影像的數據集。這是通過金字塔結構的全卷積GAN實現的，每個GAN負責捕捉不同尺度的影像分布。經過訓練後，SinGAN可以以任意尺寸生成各種高品質的影像樣本，這些樣本在語義上類似於訓練影像，但包含新的目標和結構，如下圖所示。並且多種影像處理任務都可以應用SinGAN，如影像繪製、編輯、融合，超解析度重建和動畫化。
論文2:PLMP - Point-Line Minimal Problems in Complete Multi-View Visibility
作者：Timothy Du、 Kathlen Kohn、Anton Leykin and Tomas Pajdla
論文鏈接：https：//arxiv.org/abs/1903.10008
推薦：這篇論文獲得了最佳學生論文獎。通過校準透視相機完全觀察到的點和線的一般排列，作者對所有極小問題進行了完整分類。作者證明總共只有30個極小問題，對於6個以上的相機、5個以上的點以及6條以上的線，則不存在這樣的問題。作者提出了一系列檢測極小值的測試，這些測試從對自由度進行計數開始，到對代表性樣本進行完整的符號化和數字化驗證而結束。對於發現的所有極小問題，作者介紹它們的代數度，即度量其內在困難的解的數量。它顯示了問題的難度如何隨著視圖數量的增多而增加。重要的是，幾個新的具有很小代數度的極小問題可能在影像匹配和3D重建中是實用的。
IJCAI 2019 獲獎論文
論文1:Clause Elimination for SAT and QSAT
作者：Marijn Heule，Matti Jrvisalo，Florian Lonsing，Martina Seidl，Armin Biere論文鏈接：https://www.jair.org/index.php/jair/article/view/10942
推薦：這篇論文獲得了IJCAI-JAIR 最佳論文。這篇論文介紹了在 SAT（Boolean satisfiability，布爾可滿足性）和 QBF（quantified Boolean formulas，量化布爾方程）解算器中可以作為預處理和簡化方法的許多種不同的條款消除（clause elimination）過程，介紹了它們的基礎結果和實際應用中的結果。自從這篇論文發表之後，論文中描述的方法對於最先進的 SAT&QBF 解算器的效率有長遠、顯著的影響。
論文2:Boosting for Comparison-Based Learning
作者：Michal Perrot, Ulrike von Luxburg
論文鏈接：https://arxiv.org/pdf/1810.13333.pdf
推薦：這篇論文獲得了IJCAI 2019傑出論文(Distinguished Paper)，該論文作者來自德國馬普研究所和圖賓根大學。在論文中作者們提出了 TripletBoost，這是可以僅僅使用三元組比較就可以學習到一個分類器的方法。方法的關鍵思路是把三元組資訊集聚成為較弱的分類器，然後可以把它逐步提升為一個比較強的分類器。通過實驗，這種方法能夠更好的抵抗雜訊。
論文3:Between MDPs and semi-MDPs: A framework for temporal abstraction in reinforcement learning
作者：Richard S. Sutton， Doina Precup， Satinder Singh
論文地址：
https://www.researchgate.net/publication/2413902_Between_MDPs_and_Semi-MDPs_A_Framework_for_Temporal_Abstraction_in_Reinforcement_Learning?ev=auth_pub
推薦：這篇論文獲得了AIJ 經典論文獎（The AIJ Classic Paper Award），這篇論文的第一作者 Richard Sutton 正是強化學習領域的開山人物之一。這是關於 Options（選項）的一篇精華論文，Options 是強化學習中廣泛使用的一個框架，用來在不同的時間尺度、不同的抽象級別上表徵動作。Options 框架影響了這個領域內後續的研究的走向，而且如今仍然定義了強化學習領域內層級式的動作、知識的表徵學習是如何公式化、如何進行研究的。
論文4:The dropout learning algorithm
作者：Pierre Baldi，Peter Sadowski
論文鏈接：
https://www.sciencedirect.com/science/article/pii/S0004370214000216
推薦：這篇論文獲得了AIJ 突出論文獎（The AIJ Priminent Paper Award）。dropout 已經成為了大規模神經網路訓練時使用的一個避免過擬合的關鍵技巧。這篇論文中的數學分析揭露出的本質屬性已經讓 dropout 成為了深度學習的一個重要基石。這篇論文也和統計學領域的其它方面、和集成學習和脈衝神經元的理論建立了一些聯繫。
EMNLP 2019 最佳論文
論文 1：Specializing Word Embeddings（for Parsing）by Information Bottleneck
作者：Xiang Lisa Li、Jason Eisner
論文鏈接：
http://cs.jhu.edu/~jason/papers/li+eisner.emnlp19.pdf
推薦：這篇論文的兩位作者都來自約翰·霍普金斯大學，其中一位是華人學者。在 11 月 7 日在香港落幕的 EMNLP-IJCNLP 2019 大會上，這篇論文榮獲了本屆大會最佳論文獎。
論文 2：Loss Landscape Sightseeing with Multi-Point Optimization
作者：Ivan Skorokhodov、Mikhail Burtsev
論文鏈接：https://arxiv.org/abs/1910.03867
項目地址：https://github.com/universome/loss-patterns
推薦：這篇出自莫斯科物理技術學院（Moscow Institute of Physics and Technology）神經網路與深度學習實驗室的論文向讀者介紹了多點優化在模型訓練中的諸多優勢。
論文 3：Unsupervised Cross-lingual Representation Learning at Scale
作者：Alexis Conneau、Kartikay Khandelwal、Naman Goyal、Vishrav Chaudhary、Guillaume Wenzek 等
論文鏈接：https://arxiv.org/abs/1911.02116
推薦：Facebook 這篇論文提出的 XLM-R 模型是基於 Transformer 的掩模語言模型，其在多個跨語言理解基準測試中的結果都顯著優於 BERT（mBERT）。
論文 4：Understanding the Role of Momentum in Stochastic Gradient Methods
作者：Igor Gitman、Hunter Lang、Pengchuan Zhang、Lin Xiao
論文鏈接：https://arxiv.org/abs/1910.13962v1
推薦：這篇出自微軟研究院人工智慧中心（Microsoft Research AI）的論文詳細探討了隨機梯度中動量參數對收斂以及不同演算法中性能衡量指標的影響。
論文 5：The Visual Task Adaptation Benchmark
作者：Xiaohua Zhai、Joan Puigcerver、Alexander Kolesnikov、Pierre Ruyssen 等
論文鏈接：https://arxiv.org/abs/1910.04867
推薦：眾所周知，影像分類領域有 ImageNet 數據集，自然語言處理領域有 GLUE 基準，這些基準在對應領域的進展中發揮了重要作用。終於，Google推出了視覺任務適應性領域的基準 VTAB（Visual Task Adaptation Benchmark），該基準有助於用戶更好地理解哪些哪些視覺表徵可以泛化到更多其他的新任務上，從而減少所有視覺任務上的數據需求。
論文 6：The Eighty Five Percent Rule for optimal learning
作者：Robert C. Wilson、Amitai Shenhav、Mark Straccia、Jonathan D. Cohen
論文鏈接：
https://www.nature.com/articles/s41467-019-12552-4
項目地址：
https://github.com/bobUA/EightyFivePercentRule
推薦：這是一篇發表在 Nature Communications 上的論文，詳細介紹了最優學習的 85% 規則。
論文 7：Confident Learning: Estimating Uncertainty in Dataset Labels
作者：Curtis G. Northcutt、Lu Jiang、Isaac L. Chuang
論文鏈接：https://arxiv.org/abs/1911.00068
項目地址：https://pypi.org/project/cleanlab/
推薦：這篇出自麻省理工學院和Google的論文通過對分類雜訊的假設對置信學習（CL）進行泛化，實現了對雜訊標籤和純凈標籤之間聯合分布的直接估計。
Github高星項目
機器學習領域項目推薦
1、Face Recognition
項目地址：
https://github.com/ageitgey/face_recognition
推薦：這是世界上最簡潔的人臉識別工具。它提供對 Python 和命令行的應用程式介面（API），其用途是識別以及操作影像中的人臉。它使用 Dlib 最先進的人臉識別演算法構建，該深度學習模型在 LFW（Labeled Faces in the Wild）數據集上達到了 99.38% 的準確率。它還提供了 face_recognition 命令行工具，它可以讓你在包含影像的文件夾中使用命令行來進行人臉識別！
2、fastText
項目地址：
https://github.com/facebookresearch/fastText
推薦：fastText 是由 Facebook 團隊開發的免費開源庫，用於高效詞表徵學習。它是輕量級的，允許用戶學習文本表徵和句子分類器。它可以在標準通用硬體上運行，模型甚至可以被壓縮到適應移動設備的大小。文本分類是很多應用的核心問題，例如垃圾郵件檢測、情感分析或智慧回復。文本分類的目標是給文檔（例如電子郵件、部落格、簡訊、產品評論等）分配多個類別。對自然語言處理（NLP）愛好者而言，這是一款非常有用的工具。
3、Awesome TensorFlow
項目地址：https://github.com/jtoy/awesome-tensorflow
推薦：這是一個幫你理解和使用 TensorFlow 的資源集合。該 repo 涵蓋一系列資源列表，如很棒的 TensorFlow 實驗、庫和項目。TensorFlow 是 Google 開發的端到端開源機器學習平台。它有全面的生態系統，包括工具、庫和社區資源，允許研究者創建最先進的機器學習演算法。使用 TensorFlow，開發者可以很容易地構建並部署由機器學習驅動的應用。
4、Apache predictionio
項目地址：
https://github.com/apache/predictionio
推薦：Apache PredictionIO 是供開發者、數據科學家和終端用戶使用的開源機器學習框架。用戶可使用該框架構建真實的機器學習應用，並進行部署和測試。它甚至支援事件收集、評估，以及查詢預測結果。它基於可擴展的開源服務，如 Hadoop、HBase 等。就機器學習而言，該工具減輕了開發人員的思維負擔。
Python 開源項目推薦
1、Manim - Mathematical Animation Engine
項目地址：https://github.com/3b1b/manim
推薦：Manim 是解釋性數學影片的動畫引擎，用於以編程方式創建精確的動畫。
2、XSStrike
項目地址：https://github.com/s0md3v/XSStrike
推薦：XSStrike 是一個 Cross Site Scripting 檢測套件，配備四個手寫解析器，一個智慧有效負載生成器，一個強大的模糊引擎和一個非常快速的爬蟲。
3、如何在抖音上找到漂亮小姐姐（抖音機器人）
項目地址：
https://github.com/wangshub/Douyin-Bot
推薦：使用 Python+ADB 做的 Python 抖音機器人。可以實現自動翻頁、顏值檢測、人臉識別、自動點贊、自動關注、隨機防 Ban、自動評論等功能
4、PythonRobotics
項目地址：
https://github.com/AtsushiSakai/PythonRobotics
推薦：這是機器人演算法的 Python 程式碼集合，尤其適用於自主導航。易於閱讀並能快速理解每個演算法的基本思想、選擇被廣泛使用和實用的演算法、最低依賴性。
5、Google Images Download
項目地址：
https://github.com/hardikvasa/google-images-download
推薦：這是一個命令行 python 程式，用於搜索 Google Images 上的關鍵字 / 關鍵短語，並可選擇將影像下載到本地電腦；還可以從另一個 python 文件調用此腳本。另外，這還是一個小型可立即運行的程式。如果只想為每個關鍵字下載最多 100 個影像，則無需安裝依賴。如果你想要每個關鍵字超過 100 個影像，那麼你需要安裝 Selenium 庫和 chromedriver。
6、Python暖心微信問候
項目地址：
https://github.com/sfyc23/EverydayWechat
推薦：這個項目作者使用Python做了一套自動抓取天氣預報、暖心圖片，雞湯文等資訊，然後定時發送微信消息給女朋友的小程式，非常適合因為加班太多而冷落了女朋友的程式設計師小哥哥們。
AI黑客教程推薦
駭入神經網路指南
項目地址：
https://github.com/Kayzaks/HackingNeuralNetworks
教程文章地址：
https://github.com/Kayzaks/HackingNeuralNetworks/blob/master/Article.pdf
推薦：在項目中，作者主要介紹了幾種利用神經網路弱點對其發動攻擊的方法，包括從使用神經網路的應用中找到漏洞，進行資訊竊取、惡意程式注入和後門入侵等。此外還有利用深度學習訓練中的記憶體加速，從 GPU 攻入系統的方法。項目具體分為多個章節，每個章節都提供了對應的程式碼和練習教程。除此以外，作者還提供了一篇文章，詳細介紹了攻擊原理和思路。
深度學習項目推薦
一本開源的深度學習中文教程
項目地址：
https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book
推薦：這個中文開源項目基於 TensorFlow2.0 框架，並提供了電子版的《TensorFlow 2.0 深度學習開源書》，同時按照章節在每個文件夾中提供了源程式碼。你只需要下載書籍，並根據內容和源程式碼進行學習即可，非常適合希望了解 tf2.0 的開發者學習參考。
演算法項目推薦
Algorithm Visualizer
項目地址：
https://github.com/algorithm-visualizer/algorithm-visualizer
推薦：這是一個名為 Algorithm Visualizer 的直觀的演算法可視化工具，在裡面你可以自由選擇自己想學習的演算法，每個演算法它都清晰描繪了其原理和運作過程。這款工具通過動畫與程式碼相結合的學習方式，確實降低了開發者的理解成本，使知識更加容易吸收。目前支援的演算法非常多，其中包括回溯法、加密演算法、動態規劃、圖搜索、貪婪演算法、搜索演算法、排序演算法等常用演算法。
編輯：文婧
校對：王欣
