­

學術資訊|騰訊優圖提出半監督對抗單目深度估計,被人工智慧頂級期刊TPAMI接收

  • 2020 年 3 月 18 日
  • 筆記

作為中國電腦視覺領域的領先者,騰訊優圖實驗室在單目深度估計上取得了全新的研究進展。

近日,騰訊優圖實驗室與廈門大學紀榮嶸聯合團隊,共同提出了半監督對抗單目深度估計,有望充分利用海量的無標籤數據所蘊含的資訊,結合少量有標籤數據以半監督的形式對網路進行訓練。目前,該研究成果已被人工智慧領域頂級的國際期刊TPAMI接收。

長期以來,基於深度卷積神經網路的分類、回歸任務大多依賴大量的有標籤數據來對網路進行訓練。而在實際的演算法部署中,往往只有海量的無標籤數據以及非常少量的標籤數據。如何充分利用這些少量的標籤數據,使其達到和大量有標籤數據下訓練的模型相近的效果,對學術界和工業界來說一直都是一個難題。

騰訊優圖的研究員表示,該項研究的核心難點在於,如何從無標籤數據中獲取監督資訊。傳統方法一般需要同一場景的影像序列作為輸入,通過構建立體幾何關係來隱式地對深度進行重建。這種方法要求同一場景至少包含兩張以上的影像,一般需要雙目攝影機或影片序列才可以滿足。騰訊優圖與廈門大學聯合團隊,提出在一個對抗訓練的框架中,解除影像對判別器對真假樣本必須為同一影像的要求,「真樣本對」採用有標籤數據的RGB影像以及對應的真實深度圖,「偽樣本對」採用無標籤RGB影像以及用生成器網路預測出的深度圖,由判別器網路區分預測出的深度圖與對應RGB直接是否符合真實的聯合概率分布,進而從無標籤數據中收穫監督資訊。與此同時,通過添加深度圖判別器,來約束預測的深度圖與真實深度圖的分布一致性。該方法輸入可以為任意無關聯影像,應用場景更加廣泛。而從實驗結果也發現,當主流的深度估計網路作為一個生成器網路安插在半監督框架中時,都可以收穫顯著的效果提升。

騰訊優圖與廈門大學聯合團隊提出的半監督對抗框架。圖中的生成器網路接收兩個判別器網路的回饋來更新自己的網路參數。

在研究的量化指標上,利用半監督對抗框架,當有標籤數據很少(500張)的情況下,僅使用250張無標籤RGB影像就可以收穫優於其他state-of-the-art方法的效果。當固定有標籤數據量(500張),持續增加無標籤RGB影像可以進一步對效果帶來提升,最終當利用五萬張無標籤RGB影像後,該方法在各項指標上都遠超當前的state-of-the-art方法。

當有標籤數據很少(500張)的情況下,僅使用250張無標籤RGB影像就可以收穫優於其他SOTA方法的效果。
當固定有標籤數據量(500張),持續增加無標籤RGB影像可以進一步對效果帶來提升
僅使用500張有標籤數據訓練的模型效果。從左到右依次為RGB影像、真實深度圖和優圖演算法預測的深度圖。通過利用額外的無標籤RGB數據,優圖演算法僅使用少量數據就可以達到較好的視覺效果

騰訊優圖的研究員表示,該研究方法雖然以單目深度預測為實驗,但過程中發現對於語義分割任務也有相似的效果提升。與此同時,當模型訓練與演算法部署的環境存在差異時(即存在Domain Shift),若有標籤數據為源域中的數據,而無標籤數據為演算法部署的目標域中的數據,該方法還可以起到Domain Adaptation的效果,提升模型在目標域的部署效果,該觀察也在非同源場景下的ReID任務中得到了初步的驗證。

總的來說,該項研究的核心在於充分挖掘無標籤樣本所蘊含的資訊,減少對標籤數據的依賴,未來有望在場景重建、非同源場景ReID等多個方案中進行應用