7 Papers | AI寫論文更近一步？聯邦學習怎樣與通訊領域結合

• 2019 年 10 月 4 日
• 筆記

機器之心整理

參與：一鳴、杜偉

本周推薦的論文主要有推特轉載很多的論文摘要抽取和生成論文（AI 寫論文似乎更有希望了？）、聯邦學習和通訊領域結合的綜述論文等。同時還有Google的 VideoBERT、系統優化中的強化學習、神經架構搜索相關的綜述和案例介紹論文。

目錄：

1. Best Practices for Scientific Research on Neural Architecture Search
2. A View on Deep Reinforcement Learning in System Optimization
3. On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
4. Federated Learning for Wireless Communications: Motivation, Opportunities and Challenges
5. Batch Normalization is a Cause of Adversarial Vulnerability
6. VideoBERT: A Joint Model for Video and Language Representation Learning
7. Towards Understanding the Importance of Shortcut Connections in Residual Networks

論文 1：Best Practices for Scientific Research on Neural Architecture Search

• 作者：Marius Lindauer、Frank Hutter
• 論文地址：https://arxiv.org/pdf/1909.02453.pdf

摘要：在本文中，研究者展示了一系列用於神經架構搜索（NAS）領域的最佳範例。

推薦：本文提出了很多關於 NAS 方面經典且有趣的應用案例。讀者可以根據文中提供出的最佳範例檢查清單，形成對自己設計的 NAS 模型的評價體系。

論文 2：A View on Deep Reinforcement Learning in System Optimization

• 作者：Ameer Haj-Ali、Nesreen K. Ahmed、Ted Willke、Joseph E. Gonzalez、Krste Asanovic 、Ion Stoica
• 論文地址：https://arxiv.org/pdf/1908.01275v3.pdf

摘要：很多現實世界的系統問題需要推出安裝和管理系統所採取措施的長期影響。這些問題具有延遲以及往往循序聚合的獎勵，其本身往往是強化學習問題，並且表現出了在深度強化學習中利用最近重大進展的時機。但在一些情況下，深度強化學習為何完美契合這一問題尚不清楚。有時，深度強化學習的性能並不優於 SOTA 解決方案。與此同時，在另一些情況下，隨機搜索或貪婪演算法（greedy algorithm）的性能優於深度強化學習。在本文中，研究者們回顧、探討和評估了最近系統優化中使用深度強化學習的趨勢，並提出了一組基礎指標用以指導將來系統優化中使用深度強化學習的有效性評估。他們的評估包括挑戰、問題類型、深度強化學習設置下的問題表達方式、嵌入、使用的模型以及有效性和魯棒性。論文結尾，研究者討論了進一步推進系統優化中強化學習融合所面臨的挑戰和潛在發展方向。

推薦：本文介紹了強化學習在系統優化中的一系列應用。通過這樣的綜述論文，讀者可以了解什麼時候使用深度強化學習，什麼時候更適合使用隨機搜索等其他演算法。

論文 3：On Extractive and Abstractive Neural Document Summarization with Transformer Language Models

• 作者：Sandeep Subramanian、Raymond Li、Jonathan Pilault、 Christopher Pal
• 論文地址：https://arxiv.org/pdf/1909.03186.pdf

摘要：我們提出了一種通過神經摘要為超過數千詞的長文本生成抽象摘要的方法。我們先在生成摘要之前執行一個簡單的抽取步驟，然後再將其用於在相關資訊上調整 transformer 語言模型，之後將其用於生成摘要。我們表明這個抽取步驟能顯著提升摘要結果。我們還表明這個方法能得到比之前的使用複製機制的方法更抽象的摘要，同時還能得到更高的 rouge 分數。

這段摘要讀起來怎麼樣？事實上，以上你看到的摘要內容都不是人類完成的，它是由論文中的機器學習模型寫出來的。這是來自 Element AI 的研究者最新公布的研究成果，他們使用了一種類似 GPT 的方法生成了相關研究論文的摘要。

模型生成文本摘要的流程。首先使用兩種模型進行文本抽取，然後再生成一段完整的文本。

推薦：本文是 Reddit 和推特討論很火熱的一篇論文，使用了 Transformer 模型，可生成論文的摘要。雖然文本摘要任務並不新鮮，但是本文提出的模型是目前而言效果較好的，使得文本摘要演算法距離實際應用更近一步了。

論文 4：Federated Learning for Wireless Communications: Motivation, Opportunities and Challenges

• 作者：Solmaz Niknam、Harpreet S. Dhillon、Jeffery H. Reed
• 論文地址：https://arxiv.org/pdf/1908.06847v3.pdf

摘要：無線通訊社區越來越有興趣通過數據驅動且基於機器學習（ML）的解決方案來完善傳統的、基於模型的設計方法。雖然傳統的 ML 方法需要假設數據存在並要在中心實體（central entity）中處理 head，但是這些方法通常不適用於無線通訊應用，因為私有數據表現出不可訪問性，將原始數據傳輸至中心 ML 處理器所需的通訊開銷也非常大。因此，能夠將數據保持在生成位置的分散化 ML 方法更具吸引力。得益於隱私保護特性，聯邦學習與諸多無線應用息息相關，特別適用於 5G 網路。在本文中，研究者分別介紹了聯邦學習的總體思路，探討了 5G 網路中幾種可能的應用，描述了未來無線通訊背景下聯邦學習研究所面臨的的關鍵技術挑戰和有待解決的問題。

聯邦學習概念圖示。

聯邦學習在邊緣計算和數據存儲方面的應用。

推薦：聯邦學習一直被認為是在近來既可以保證參與方擁有最好的模型，同時保護參與各方的數據安全和隱私。本文是一篇使用綜述論文，介紹了聯邦學習在數據安全敏感的通訊領域（特別是 5G）方面的應用，值得對機器學習和 5G、邊緣計算等方面結合感興趣的讀者閱讀。

論文 5：Batch Normalization is a Cause of Adversarial Vulnerability

• 作者：Angus Galloway、Anna Golubeva、Thomas Tanay、Medhat Moussa、Graham W. Taylor
• 論文地址：https://arxiv.org/pdf/1905.02161

摘要：批歸一化是一種常用的方法，用於穩定和加速深度神經網路的訓練。在許多案例中，批歸一化的確降低了所需的參數量。然而，這同樣也會降低神經網路對微小擾動的魯棒性，有時候降低幅度可能高達兩位數。進一步來說，使用權重降低來代替批歸一化可以抵消神經網路對對抗樣本的脆弱性和輸入維度之間的關係。研究人員表示，這項工作和批歸一化導致梯度爆炸的研究得出的結論是一致的。

推薦：本文是一篇有爭議的觀點性文章，認為批歸一化是導致模型對對抗樣本脆弱的罪魁禍首。至於觀點是否正確，感興趣的讀者可以閱讀論文並參與討論。

論文 6：VideoBERT: A Joint Model for Video and Language Representation Learning

• 作者：Chen Sun、Austin Myers、Carl Vondrick、Kevin Murphy、Cordelia Schmid
• 論文地址：https://arxiv.org/pdf/1904.01766

摘要：Google的研究者提出了使用無標註影片學習時間表徵的方法。據介紹，他們的目標是發現對應於更長時間尺度上的動作和事件的高層面語義特徵。為了實現這一目標，他們借用了人類語言使用高級辭彙來描述高層面的事物和事件的思路。在影片中，語音往往與視覺訊號存在時間上的對應，而且可以通過現成的自動語音識別（ASR）系統提取出來，由此可作為自監督的一個自然來源。所以，Google這些研究者設計的模型的學習是跨模態的，因為其在訓練過程中會聯合使用視覺和音頻（語音）模態的訊號。

VideoBERT 的模型架構。

使用模型預測烹飪過程中的下一步操作。

推薦：本文是Google的一篇論文，介紹了Google在影片預測方面的進一步進展，以及使用 Transformer 架構在非文本數據以外的領域的應用。

論文 7：Towards Understanding the Importance of Shortcut Connections in Residual Networks

• 作者：Tianyi Liu、Minshuo Chen、Mo Zhou、Simon S. Du、Enlu Zhou、Tuo Zhao
• 論文地址：https://arxiv.org/pdf/1909.04653v2.pdf

摘要：殘差神經網路在深度學習中是一個里程碑的成就。它使用了層之間的短連接，在訓練中僅使用一階演算法就可以非常高效地訓練。但是，能夠取得這樣好的效果的機制並不為人們所知。本文研究了一種雙層非重疊的卷積殘差神經網路。訓練這種網路需要解決在局部優化中的非凸優化問題。然而，研究人員發現，與恰當歸一化結合的梯度下降方法就可以避免模型陷入局部最優，並可以在多項式時間內收斂。在這種情況下，第一層的權重從 0 開始初始化，而第二層的權重則是隨機初始化的。相關實驗結果支援了作者的理論。

推薦：本文是一篇理解殘差神經網路的論文，適合深度學習進階級別的讀者進一步理解殘差神經網路內部的結構和數學原理。