本周 Paper 推薦丨MetaHIN 模型、GPT-GNN、大規模強化學習演算法
.
推薦目錄
基於立體視覺深度估計的深度學習技術研究
P2Net：無監督的室內深度估計的塊匹配和平面正則化
緩解異質資訊網路中冷啟動問題 so easy？來看看 MetaHIN 模型
IMPALA：大規模強化學習演算法
GPT-GNN：圖神經網路的預訓練
基於立體視覺深度估計的深度學習技術研究
論文名稱：A Survey on Deep Learning Techniques for Stereo-based Depth Estimation
作者：Laga Hamid /Jospin Laurent Valentin /Boussaid Farid /Bennamoun Mohammed
發表時間：2020/6/1
論文鏈接：//arxiv.org/abs/2006.02535?context=cs.GR
推薦原因
這是第一篇關於基於深度學習的立體匹配任務的綜述文章，以往關於立體匹配的綜述文章多基於傳統方法，或者年代已久。這篇綜述文章主要總結了過去6年發表在主要會議和期刊上的150多篇深度立體匹配論文，可以稱得上方法最新，分類最全，概括最廣。
在論文中，作者首先介紹了深度立體匹配網路的常用架構，然後討論了基於每種架構的所有方法之間的異同。其分析的角度包括訓練的數據集、網路結構的設計、它們在重建性能、訓練策略和泛化能力上的效果。對於一些關鍵的方法，作者還使用了公開數據集和私有數據進行總結和比較，採用私有數據的目的是測試各類方法在全新場景下的泛化性能。
這篇論文能夠為研究深度立體匹配的研究人員提供詳細的參考資料，同時，作者在最後一節提到的7種未來發展方向對於研究深度立體匹配具有很好的思考價值，值得細細品讀。
P2Net：無監督的室內深度估計的塊匹配和平面正則化
論文名稱：P2Net: Patch-match and Plane-regularization for Unsupervised Indoor Depth Estimation
作者：Yu Zehao /Jin Lei /Gao Shenghua
發表時間：2020/7/15
論文鏈接：//arxiv.org/abs/2007.07696
開源地址：//github.com/svip-lab/Indoor-SfMLearner
推薦原因
這篇論文提出了一個新的無監督室內場景下的深度估計網路P2Net，其創新點在於提出了兩種新式無監督損失函數，論文發表在ECCV2020上。
傳統的無監督損失函數是以像素點為單位的影像重構損失，以及邊緣敏感的梯度平滑損失。作者發現只在每個像素點處計算影像重構損失得到的特徵表示並不夠魯棒，由此提出採用基於影像塊表示的重構損失。具體地，採用已有的特徵描述子演算法DSO提取特徵關鍵點，以關鍵點為中心構建局部窗口，計算整個窗口內的重構損失更具有魯棒性。另外，考慮到無監督訓練時的崩塌來源於室內場景下的無紋理區域，作者認為無紋理區域可以看做是一個平面，通過對影像提取超像素點從而構造平面區域，在同一平面上的像素點的深度資訊應當具有一致性，由此提出平面一致性損失。
作者提出的P2Net在NYU Depth V2和ScanNet兩個公開數據集上取得了SOTA的效果。
緩解異質資訊網路中冷啟動問題 so easy？來看看 MetaHIN 模型
論文名稱：Meta-learning on Heterogeneous Information Networks for Cold-start Recommendation
作者：Yuanfu Lu/Yuan Fang/Chuan Shi
發表時間：2020/7/6
論文鏈接：//aminer.cn/pub/5f03f3b611dc830562232019?conf=kdd2020
開源程式碼：//github.com/rootlu/MetaHIN
推薦原因
推薦系統旨在預測用戶對物品的偏好，從而向用戶提供其感興趣的商品，為用戶解決資訊過載問題。為了緩解推薦系統中異質資訊網路的「冷啟動」問題，作者提出MetaHIN模型。
MetaHIN在模型層面探索了元學習的能力，同時在數據層面研究了異質資訊網路的表達能力。在MetaHIN中，作者提出使用多方面的語義上下文來增強每個用戶的任務，因此設計了一種新穎的語義增強型任務構建器，用於在元學習場景中捕獲異質資訊網路中的語義資訊。進一步地，我們構建了一個協同適應元學習器。
該學習器既具有語義層面的適應性，又具有任務層面的適應性。
該論文已經被KDD 2020收錄。
IMPALA：大規模強化學習演算法
論文名稱：Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures
作者：Lasse Espeholt / Hubert Soyer / Remi Munos / Karen Simonyan / Volodymir Mnih / Tom Ward / Yotam Doron / Vlad Firoiu / Tim Harley / Iain Dunning / Shane Legg / Koray Kavukcuoglu
發表時間：2018/6/28
論文鏈接：//arxiv.org/abs/1802.01561
推薦原因
這是並行RL演算法領域引用最為高的一篇文章。文章和以往做的工作不同，不僅僅有工程上實驗效果的大幅提升，還做了理論的分析解決了on-policy與off-policy的訓練差異問題，整體工作是相當solid的。
作者同時啟動了多個Actor和一個Learner，每個Actor都是包含整個policy參數的，負責和環境交互產生數據，Learner是負責訓練參數還有同步參數給Actor的。這就有個問題了，參數同步會有無法避免的延遲，那這個就違背了On-policy演算法的更新原則，作者提出了一種很好的方式解決這個問題，對有延遲的數據進行修正使得on-policy的訓練方式可以繼續進行。
GPT-GNN：圖神經網路的預訓練
論文名稱：GPT-GNN: Generative Pre-Training of Graph Neural Networks
作者：Hu Ziniu /Dong Yuxiao /Wang Kuansan /Chang Kai-Wei /Sun Yizhou
發表時間：2020/6/27
論文鏈接：//arxiv.org/abs/2006.15437
推薦原因
該論文介紹的工作是致力於預訓練圖神經網路，以期GNN能夠學習到圖數據的結構和特徵資訊，從而能幫助標註數據較少的下游任務。 論文已經被KDD 2020 收錄。
文章提出用生成模型來對圖分布進行建模，即逐步預測出一個圖中一個新節點會有哪些特徵、會和圖中哪些節點相連。
在第一步中，通過已經觀測到的邊，預測該節點的特徵；
在第二步中，通過已經觀測到的邊，以及預測出的特徵，來預測剩下的邊。
作者在兩個大規模異構網路和一個同構網路上進行了實驗，總體而言，GPT-GNN在不同的實驗設定下顯著提高下游任務的性能，平均能達到9.1％的性能提升。另外，還評估了在不同百分比的標記數據下，GPT-GNN是否依然能取得提升。
詳細可看論文。
AI研習社論文討論微信群，分別有【NLP論文討論群】【CV論文討論群】【強化學習討論群】，未來將會更細分方向和內容，群裡面可以分享你覺得不錯的論文，可以和同學一起討論論文復現結果等細節，歡迎大家加入並積极參与活躍！
掃碼添加小助手微信，發送【XX論文】，如：強化學習論文，即可進入相關的論文討論群。
