今日 Paper | 小樣本學習；視覺情感分類；神經架構搜索；自然影像摳像等

2020 年 2 月 14 日
筆記

為了幫助各位學術青年更好地學習前沿研究成果和技術，AI 研習社重磅推出【今日 Paper】欄目，每天都為你精選關於人工智慧的前沿學術論文供你學習參考。以下是今日的精選內容——

基於深度學習的步行者慣性導航：方法、數據集和設備推理
用於視覺情感分類的多源域自適應
用多尺度自監督表徵提高小樣本學習的表現
在神經架構搜索里使用權值共享真的有效、可靠嗎？
通過引導的上下文注意進行自然影像摳像

基於深度學習的步行者慣性導航：方法、數據集和設備推理

論文名稱：Deep Learning based Pedestrian Inertial Navigation: Methods, Dataset and On-Device Inference

作者：Chen Changhao /Zhao Peijun /Lu Chris Xiaoxuan /Wang Wei /Markham Andrew /Trigoni Niki

發表時間：2020/1/13

論文鏈接：https://paper.yanxishe.com/review/8987

推薦原因：這篇論文嘗試將深度學習進一步應用於慣性導航研究中。

慣性測量單元被廣泛部署在智慧設備和移動機器人上。在新興的物聯網中，利用慣性數據獲得準確可靠的行人導航支援是一項重要的服務。近年來，運用深度神經網路處理動作感知和坐標估計逐漸變得流行。但是，缺乏足夠標註數據來訓練和評估基準線模型成為這一應用的限制。這篇論文的貢獻是提出了一個名為Oxford Inertial Odometry Dataset（OxIOD）的新數據集，即首個用於深度學習慣性導航研究的數據集，在每條序列中都有微調好的標註資訊。進一步，為了在邊緣計算上保證更高效的推理，這篇論文還提出一個新的輕量級框架，從原始的IMU數據上學習和重構行人軌跡。實驗表明所提數據集與方法能夠在資源受限的設備上獲得精準的行人慣性導航資訊。

用於視覺情感分類的多源域自適應

論文名稱：Multi-source Domain Adaptation for Visual Sentiment Classification

作者：Lin Chuang /Zhao Sicheng /Meng Lei /Chua Tat-Seng

發表時間：2020/1/12

論文鏈接：https://paper.yanxishe.com/review/8988

這篇論文考慮的是視覺情感分類問題。

視覺情感分類任務的現有域自適應方法通常是針對單源場景。在這種場景中，模型從充分標註好的源領域數據學習完畢後，遷移到只有較寬鬆標註或無標註數據的目標領域。不過在實踐中，從單一源領域來的數據通常容量有限，很難覆蓋目標領域的全部特徵。為了解決這個問題，這篇論文提出了一個新的名為多源情感生成對抗網路的多源域自適應方法，用於處理視覺情感分類。為了處理來自多個源域的數據，新模型通過端到端的循環一致對抗學習，學習如何找到一個統一的情感潛在空間，在該空間來自源域和目標域的數據共享相似的分布。在四個基準數據集上的實驗證明，在情感分類任務上，這篇論文提出的新模型顯著優於目前的最佳模型。

用多尺度自監督表徵提高小樣本學習的表現

論文名稱：Few-shot Learning with Multi-scale Self-supervision

作者：Zhang Hongguang /Torr Philip H. S. /Koniusz Piotr

發表時間：2020/1/6

論文鏈接：https://paper.yanxishe.com/review/9112

推薦原因

從深度學習流行以來，需要大量數據的這一特點就經常被指責，更有人指出人類的智慧只需要幾個甚至一個樣本就可以學會某個任務或者某種概念 —— 這就是小樣本學習，有許多研究人員就在這個方向做著努力。近期，「二階池化」（second-order pooling）的方法在小樣本學習中發揮了很好的效果，主要是因為其中的聚合操作不需要對CNN網路做修改就可以處理各種不同的影像解析度，同時還能找到有代表性的共同特徵。

不過，學習每張影像的時候只使用一種解析度不是最優的方法（即便整個數據集中所有影像的解析度都各自不同），因為每張影像中的內容相比於整張影像的粒度粗細不是固定不變的，實際上這受到內容本身和影像標籤的共同影響，比如，常見的大類物體的分類更依賴整體外觀形狀，而細粒度的物體分類更多依賴影像中局部的紋理模式。也所以，影像去模糊、超解析度、目標識別等任務中都已經引入了多尺度表徵的概念，用來更好地處理不同分類粒度。

這篇論文里作者們就嘗試了在小樣本學習中引入多尺度表徵。他們主要需要克服的困難是，要避免多尺度表徵把標準方法的使用變得過於複雜。他們的方法是，在二階池化的屬性的基礎上設計一個新型的多尺度關係網路，用來在小樣本學習中預測影像關係。作者們也設計了一系列方法優化模型的表現。最終，他們在幾個小樣本學習數據集上都刷新了最好成績。

在神經架構搜索里使用權值共享真的有效、可靠嗎？

論文名稱：Deeper Insights into Weight Sharing in Neural Architecture Search

作者：Zhang Yuge /Lin Zejun /Jiang Junyang /Zhang Quanlu /Wang Yujing /Xue Hui /Zhang Chen /Yang Yaming

發表時間：2020/1/6

論文鏈接：https://paper.yanxishe.com/review/9111

推薦原因

神經網路架構搜索（NAS）是讓深度學習自動化、在指定任務上獲得最佳模型的一個好辦法。但NAS的問題也很明顯，模型結構需要迭代更新，每個更新出的結構還需要經過訓練才能了解表現如何，所以從頭開始做NAS非常消耗能源和時間。

近期有一些研究用權值共享的方式，節省了評估結構表現的時間；具體來說，權重共享是首先獲得一個大網路的所有權值，然後對於在大網路基礎上簡化出的小網路，就直接使用對應的權值。但是這種做法是沒有經過嚴謹的理論證明的，實際使用中的影響也還沒有得到完善的研究。

這篇論文就對現有的權值共享方法做了詳細的實驗研究，作者們發現，1，來源稍有區別的模型之間可以有巨大的表現差別；2，即便子網路之間的表現有很大差別，訓練那個大網路也很有價值；3，不同子模型之間的干擾是造成表現區別的重要原因；4，適當降低權值共享的程度可以有效降低表現波動、提高表現

通過引導的上下文注意進行自然影像摳像

論文名稱：Natural Image Matting via Guided Contextual Attention

作者：Li Yaoyi /Lu Hongtao

發表時間：2020/1/13

論文鏈接：https://paper.yanxishe.com/review/8989

推薦原因：

這篇論文考慮的是自然影像摳像的問題。

基於深度學習的方法在自然影像摳像（natural image matting）方面取得顯著進步。受基於親和力方法與上下文注意力機制的成功啟發，這篇論文開發了一種新的使用指引的上下文注意力模組的端到端方法。指引上下文注意力模組會根據學習到的低級關聯資訊，直接在全局範圍內傳播高級不透明資訊。新方法可以模仿基於親和力方法的資訊流，並同時利用深度神經網路學到的豐富特徵。在Composition-1k測試集和Alphamatting.com基準數據集上的實驗結果表明，這篇論文提出的新方法在自然影像摳像方面優於之前的最新方法。

論文作者團隊招募

為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、程式碼復現。致力成為中國外前沿研究成果學習討論和發表的聚集地，也讓優秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

1.署著你名字的文章，將你打造成最耀眼的學術明星

2.豐厚的稿酬

3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

1.將你喜歡的論文推薦給廣大的研習社社友

2.撰寫論文解讀

如果你已經準備好加入 AI 研習社的論文兼職作者團隊，可以添加運營小姐姐的微信，備註「論文兼職作者」