首個鏡子分割網路問世，大連理工、鵬城實驗室、香港城大出品 | ICCV 2019
- 2019 年 10 月 5 日
- 筆記
點擊上方「CVer」，選擇加"星標"或「置頂」
重磅乾貨，第一時間送達
本文轉載自：機器之心
乾明 發自 凹非寺 本文轉載自：量子位（QbitAI）
鏡子里的人，是人嗎？對於電腦視覺系統來說：是。
大部分系統也不考慮鏡子因素，它們很難分清楚鏡中人。
鏡子作為日常生活中非常重要的物體無處不在，不僅能夠反射光線，能呈現出周圍物體或者場景的鏡像。
這就導致電腦視覺系統或者機器人一旦遇到有鏡子的場景，性能就會大幅下降，可以說是遇到了剋星。
怎麼辦？來自大連理工、鵬城實驗室和香港城市大學的研究團隊提出了一個方法。
他們發表了一篇名為Where Is My Mirror?的論文，已經被ICCV2019收錄。
在這篇論文中，他們構建了一個大規模的鏡像數據集，並提出了一種從輸入影像中分割鏡子的新方法。
不僅能夠準確識別並分割出場景中的鏡子，還能夠消除由於鏡子反射所導致的對於場景的錯誤理解，並幫助一些電腦視覺任務（例如深度估計和目標檢測）提升魯棒性。
他們說，這是首個解決鏡子分割的方法，經過大量的實驗表明，性能表現比最先進的檢測和分割方法都要好。
未來，他們的目標是檢測出現在城市街道上的鏡子，這對戶外執行的視覺任務——自動駕駛和無人機導航——都有助益。
Where Is My Mirror?
對於電腦視覺系統來說，鏡子反射的內容與鏡子外部的內容(即周圍環境)非常相似，它們很難區分出來，更不用說從一個背景中自動分割鏡子了。
從這點來看，系統是比不上人的。大多數人類，通常能很好地察覺鏡子的存在。
向人類學習，成了這篇論文的突破點。研究人員觀察到，人們識別鏡像中的內容，通常會從邊界入手，觀察其不連續性。
因此，這個問題的一個直接的解決方案，是應用低層次的特徵，比如顏色和紋理變化，來檢測鏡子邊界。
但如果一個鏡子前面有物體遮擋，這個方法就不管用了，比如這樣的情況：
單靠檢測鏡子邊界很難將對象的反射與對象本身分離開，也需要語義，即上下文對比資訊來進行進行分割。
基於此，研究人員從兩個方面來解決鏡子分割問題：數據和神經網路。
自建數據集
因為這一領域之前並未有太多人關注，自然也沒有可用數據集。
於是他們就自己動手，創建數據集MSD，包含4018對包含鏡子和相應的手動注釋的蒙版影像。
其中，有3677張來自室內場景，341張來自室外場景，基本上涵蓋了生活中常見的出現鏡子的場景：化妝台、裝飾品、浴室、路面鏡子、卧室、辦公室、花園、街道和停車場。
最後有3063張影像用於訓練，955張影像用於測試。
怎麼找鏡子？
論文中提出的鏡子分割網路MirrorNet的架構，以單幅影像為輸入，通過特徵提取網路(FEN)提取多層特徵。
然後，將最深層的、語義豐富的特徵輸入到所提出的上下文對比特徵提取（CCFE）模組中，學習上下文對比特徵，通過檢測對比出現的分界線，用初始的粗糙的鏡子分割圖來定位鏡子。
這一鏡子分割圖作為注意力圖，用於抑制非鏡子區域上一層 FEN 特徵的特徵雜訊，使上一層能夠集中學習候選鏡子區域的鑒別特徵。
通過這種方式，MirrorNet逐步利用上下文對比資訊以從粗到精的方式細化鏡子區域。最後，對最粗的網路輸出進行上行取樣，得到原始的影像解析度作為輸出。
鏡子在這裡
自建數據集提出的MirrorNet效果怎麼樣？
研究人員採用了相關領域中常用的5個度量(即語義分割、顯著目標檢測和陰影檢測) ，對鏡子分割性能進行定量評估。
比較對象也都是目標分割領域先進的模型，比如Mask RCNN、R3Net等等。
從這些指標來看，MirrorNet表現都是最佳。
一次跨越南北的合作
這一論文來自大連理工、鵬城實驗室和香港城市大學，是一次跨越南北的合作。
第一作者有兩位，分別是楊鑫和梅海洋。
楊鑫，大連理工大學電腦學院副教授、博士生導師、學校學科辦建設副主任。本科畢業於吉林大學電腦學院，於浙江大學-美國加州大學戴維斯分校電腦學院進行博士生聯合培養，獲工學博士學位，香港城市大學博士後。
梅海洋，大連理工大學在讀博士生，本科也畢業於大連理工大學。研究興趣為影像處理、電腦視覺和深度學習。
梅海洋介紹稱，他們團隊圍繞鏡子，用了一年半的時間進行課題調研、確定問題、製作數據集、設計模型、優化模型，研究成果最終被ICCV2019接收。
後續將圍繞城市間建築表面的鏡子來展開研究，以此來進一步擴展問題，緩解各種場景下鏡子對於其他視覺任務的影響，提高應用價值。
最後，梅海洋說，關於這一研究的數據集和程式碼將會開源，希望廣大的研究者們能夠一起加入到這個問題的研究中~
如果你對這一研究感興趣，請收好傳送門： https://mhaiyang.github.io/ICCV2019_MirrorNet/index.html
