學界 | NeurIPS 2018 中的貝葉斯研究 - ⎝⎛CodingNote.cc ⎞⎠

學界 | NeurIPS 2018 中的貝葉斯研究

2019 年 11 月 1 日
筆記

AI 科技評論按：神經信息處理系統大會（NeurIPS）是人工智能領域最知名的學術會議之一，NeurIPS 2018 （https://nips.cc/Conferences/2018）已於去年 12 月 3 日至 8 日在加拿大蒙特利爾市舉辦。來自 Zighra.com 的首席數據科學家在參加完此次會議之後，撰寫了一篇關於貝葉斯研究的參會總結，AI 科技評論編譯整理如下。

此次會議支持現場直播，所有講座的視頻內容均可以在 NeurIPS 的 Facebook 主頁上找到，除此之外，NeurIPS 主頁上還有一些非常有趣的主題演講，其中最吸引我的是 Micheal Levin 教授講的神經系統外的生物電計算、原始認知和綜合形態學（https://nips.cc/Conferences/2018/Schedule?showEvent=12487）。其他值得關注還有，Joelle Pineau 教授演講主題：可重複，可重用和可強化的強化學習（https://nips.cc/Conferences/2018/Schedule?showEvent=12486），David Spiegelhalter 演講主題：使算法值得信賴（https://nips.cc/Conferences/2018/Schedule?showEvent=12346），以及 Kunle Olukotun 演講主題：為軟件 2.0 版本設計的計算機系統（https://nips.cc/Conferences/2018/Schedule?showEvent=12469）。還有一個非常有趣的研討會，主要討論機器學習在物理學領域的分子和材料中的應用（https://nips.cc/Conferences/2018/Schedule?showEvent=10923）。

我關注 NeurIPS2018 主要是為了解貝葉斯推斷的最新研究動態及其在機器學習和人工智能領域中的應用。正如預期的那樣，在為期 6 天的會議中，貝葉斯研究相關論文多達 70 多篇。David Dunson 教授關於可擴展貝葉斯推斷的導讀（https://nips.cc/Conferences/2018/Schedule?showEvent=10984）非常有用。本教程概述了使用貝葉斯統計方法分析海量數據集的最新方法。Dunson 教授討論了擴展常用馬爾可夫鏈蒙特卡羅（MCMC）算法的簡單方法，例如：高速並行（EP）MCMC，近似 MCMC，隨機近似，混合優化和採樣以及模塊化。這些方法在計算廣告學，基因組學和神經科學等領域均有應用。

還有兩個與貝葉斯推斷相關的研討會。一個是貝葉斯深度學習（https://nips.cc/Conferences/2018/Schedule?showEvent=10906），另一個是非參數化貝葉斯推斷（https://nips.cc/Conferences/2018/Schedule?showEvent=10905），目前都是非常活躍的研究領域。

口頭報告和展板涵蓋了貝葉斯推斷的幾個方面，包括理論進步和其在機器學習中的應用。涵蓋的主題包括貝葉斯深度學習，貝葉斯強化學習，貝葉斯優化，變分推斷，變分自動編碼器，馬爾可夫鏈蒙特卡羅（MCMC）方法，表示學習或元學習，認知科學，差分隱私，近似貝葉斯方法和貝葉斯網絡。這一系列主題展示了貝葉斯方法在機器學習和人工智能中的重要性。

我將在這裡總結一些我發現有趣的演講/展板，完整的演講/展板清單可以在 NeurIPS2018 會議論文頁面找到。

基於貝葉斯優化和最優傳輸的神經架構搜索

https://nips.cc/Conferences/2018/Schedule?showEvent=11310

在這項工作中，作者開發了 NASBOT，這是一種基於高斯過程的貝葉斯優化框架，用於神經架構搜索。作者在神經網絡架構的空間中提出了一個距離度量，可以通過最優的傳輸程序進行有效計算。

通過貝葉斯網絡結構學習構建深度神經網絡

https://nips.cc/Conferences/2018/Schedule?showEvent=11310

本文作者介紹了深度神經網絡無監督結構學習的原理。他們提出了深度和層間連接的新解釋，其中輸入分佈中的條件獨立性在網絡結構中被分層編碼，這樣可以固有地確定網絡的深度。該方法將神經網絡結構學習問題隱射為貝葉斯網絡結構學習的問題。

深度學習的解釋模型——一種非參數化的貝葉斯方法

https://nips.cc/Conferences/2018/Schedule?showEvent=11445

在這項工作中，作者提出了一種新的技術方法，它增加了具有多個彈性網的貝葉斯非參數回歸混合模型。使用增強混合模型，可以通過全局近似提取目標模型的泛化理解。

貝葉斯對抗學習

https://nips.cc/Conferences/2018/Schedule?showEvent=11664

深度神經網絡容易受到對抗性攻擊，標準的防禦性方法是將其作為一個強大的優化問題。本文則是最小化了從對抗數據生成分佈中生成的最壞情況損失的點估計。這項工作提出了一種新的強大的訓練框架，稱為貝葉斯魯棒學習，其中對對抗性數據生成分佈進行分配，以解釋對抗性數據生成過程的不確定性。

貝葉斯分佈隨機梯度下降

https://nips.cc/Conferences/2018/Schedule?showEvent=11617

這項工作討論了一種用於在並行集群上訓練深度神經網絡的高吞吐量算法。該算法在生成模型中使用平攤推理，以計算群集的特定方式執行小批量梯度計算時間的聯合後驗預測推斷。特別地是，該算法在基於梯度的同步優化中，通過選擇一個最優的中斷（cutoff）來緩解算法中的掉隊問題。

貝葉斯模型不可知元學習

https://nips.cc/Conferences/2018/Schedule?showEvent=12594

在本文中，作者提出了一種新的貝葉斯模型不可知元學習方法，用於從小數據集中學習。該方法將原有的基於梯度的元學習與非參數變分推斷結合在一個有原則的概率框架中。

平均美及其環境調節：貝葉斯統計賬戶

https://nips.cc/Conferences/2018/Schedule?showEvent=11405

了解人類如何感知高維物體（如面部）的美感是認知科學和 AI / ML 中的一個重要問題。從心理學文獻中可知，人類對面部吸引力的評估是依賴於環境的。在本文中，作者假設，當一個對象的編碼成本較低時，特別是當其感知的統計典型性較高時，人類對一個對象的喜好會增加，這與 Barlow 的開創性的編碼假設一致。

來自演示的時間任務規範的貝葉斯推斷

https://nips.cc/Conferences/2018/Schedule?showEvent=11379

當觀察任務演示時，人類學徒能夠先於獲得實際執行該任務的專業知識之前就能知道給定任務是否正確執行。作者提出了貝葉斯指數推斷，這是一種推斷任務規範作為時間邏輯公式的概率模型。作者將概率編程的方法與獨立於領域的似然函數結合起來，以定義它們的先驗，從而支持基於採樣的推斷。

通過鞍點進行預測近似貝葉斯計算

https://nips.cc/Conferences/2018/Schedule?showEvent=11971

當似然函數難以處理時，近似貝葉斯計算（ABC）是貝葉斯推理的一種重要方法。在本文中，作者介紹了一種基於優化的 ABC 框架，該框架解決了現有方法的不足。利用生成模型進行後驗和聯合分佈匹配，作者表明，ABC 可以被定義為鞍點問題，其目標可以直接用樣本訪問。

多專家強化學習：貝葉斯模型組合方法

https://nips.cc/Conferences/2018/Schedule?showEvent=11906

在本文中，作者將貝葉斯模型與多個專家相組合，使其學習如何在訓練過程中信任優秀的專家組合。

變分貝葉斯蒙特卡羅

https://nips.cc/Conferences/2018/Schedule?showEvent=11786

許多在科學計算和機器學習中大熱的概率模型是很棘手的，需要求梯度或大量似然估計。作者在這裡介紹了一種新的樣本推斷框架，即變分貝葉斯蒙特卡羅（VBMC）。 VBMC 將變分推斷與基於高斯過程的主動採樣貝葉斯積分相結合，使用後者有效地近似變分目標中的難以求得的積分。

深度高斯過程的隨機梯度哈密頓蒙特卡羅推斷

https://nips.cc/Conferences/2018/Schedule?showEvent=11722

深度高斯過程（DGP）是高斯過程的分層推廣，其將良好校準的不確定性估計與多層模型的高靈敏度相結合。這些模型面臨的最大挑戰之一是精確推斷是很難處理的。在這項工作中，作者提供了後驗的非高斯性質的證據，並且他們應用隨機梯度哈密頓蒙特卡羅方法從後驗分佈生成樣本。

算法保證：使用貝葉斯優化進行算法測試的主動方法

https://nips.cc/Conferences/2018/Schedule?showEvent=11534

在這項工作中，作者引入了算法保證，即測試機器學習算法是否符合其預期設計目標的問題。作者在數學上將此任務表述為昂貴的黑盒函數的優化問題。他們使用基於貝葉斯優化的主動學習方法來解決這個優化問題。

用易處理變分推斷的離散鬆弛連續變量

https://nips.cc/Conferences/2018/Schedule?showEvent=12713

作者探討了貝葉斯變分推斷的一個新的研究方向，即離散潛變量先驗，他們利用 Kronecker 矩陣代數進行對數似然（證據）下界（ELBO）的高效精確計算。這導致後驗樣本由稀疏和低精度量化整數組成，其允許在硬件受限設備上快速推斷。

Wasserstein 變分推斷

https://nips.cc/Conferences/2018/Schedule?showEvent=11256

本文介紹了 Wasserstein 變分推理，一種基於最優傳輸理論的近似貝葉斯推理的新形式。Wasserstein 變分推理使用一個新的分歧，包括 f-散度和 Wasserstein 距離作為特殊情況。該技術產生非常穩定的訓練方法，可以與隱式分佈和概率程序一起使用。

在變分自動編碼器中學習潛在子空間

https://nips.cc/Conferences/2018/Schedule?showEvent=11623

通常很難解釋使用變分自動編碼器（VAE）學習的潛在空間表示。作者提出了一種基於 VAE 的生成模型，它能夠提取與數據中二進制標籤相關的特徵，並在容易表示的潛在子空間中構造它。

用於分子設計的約束圖變分自動編碼器

https://nips.cc/Conferences/2018/Schedule?showEvent=11748

在強調化學應用的同時，作者探索了學習生成符合訓練數據中觀察到的分佈的圖的任務。他們提出了一種變分自動編碼器模型，其中編碼器和解碼器都是圖結構的。他們表明，通過使用潛在空間的大致形狀，該模型可以設計在所需特性（局部）中最佳的分子。

我可能在這裡省略了在 NeurIPS2018 上提出的關於貝葉斯推斷的其他幾項重要工作。這在一定程度上是因為我的個人選擇，而且我可能也沒有在會議上提交的數百篇論文和展板中注意到它們。建議讀者通過 NeurIPS2018 會議論文搜索其他有趣的論文。

總之，在 NeurIPS2018 上提出的關於貝葉斯推斷的工作清單顯示了該主題在機器學習和人工智能時代的相關性。去年，貝葉斯推斷在後驗密度估計的更好算法方面取得了一些重要進展，並在從深度學習模型的解釋到新分子設計等問題上得到了應用。

via：https://medium.com/datadriveninvestor/bayesian-research-in-neurips2018-319cdbca71e9