ICCV2021 | 武漢大學提出「變化無處不在」單時相監督的變化檢測器

• 2021 年 10 月 13 日
• AI

第一作者主頁：//zhuozheng.top

我們觀察到，成對標記的位時影像的重要性在於，變化檢測器需要成對的語義資訊來定義對象變化檢測的正負樣本。這些正、負樣本通常是由兩個不同時間的像素在同一地理區域是否具有不同的語義來決定的。位時像素的語義控制著標籤分配，而位置一致性條件（兩個時相的像素應處於相同的地理位置）僅用於保證獨立同分布的訓練和推理。可以想像，如果我們鬆弛位置一致性條件來定義正負樣本，那麼變化是無處不在的，尤其是在未配對的影像之間。

2.1 單時相監督學習演算法STAR: Single-Temporal supervised LeARning

其中Xi, Xj為真實雙時相影像對，對應的Y是其語義像素標籤，F為變化檢測器，為變化檢測器參數。將偽雙時相影像對（Xt1, Xt1）替換為真實雙時相影像對，並重新利用邏輯異或運算分配偽雙時相影像對的變化標籤，從而將原學習問題鬆弛為下式的僅利用單時相影像即可完成的學習問題:

偽雙時相影像對：為了利用單時相影像提供監督訊號，我們提出了一種偽雙時相影像對構建技術，其通過對一個訓練批次中的影像Xt1進行隨機排列得到偽第二時相影像Xt1，並且保證每個偽影像對中的影像各不相同。通過觀察可以發現，偽雙時相影像對的變化標籤可用兩張影像的語義像素標籤（one-hot為二值標籤）的邏輯異或表示，這樣即可完成偽雙時相影像對的正負樣本定義。

圖1：模型訓練與推理流程

2.2 變化檢測新架構ChangeStar = Any Segmentation Model + ChangeMixin

ChangeStar是一個簡單而統一的網路，由一個深度語義分割模型和ChangeMixin模組組成。這種設計的核心思想在於重用現代語義分割架構，因為語義分割和物體變化檢測都是密集的預測任務。為此，我們設計了ChangeMixin模組，使任何現成的深度語義分割模型能夠檢測物體變化。ChangeMixixin模組由若干卷積層和一個時序交換模組組成，其輸入由分割模型計算得到的高解析度語義特徵，輸出雙向的變化檢測圖用於後續的學習與推理。我們在實驗中發現，一個收斂的模型，雙向變化檢測圖相似度極高，因此在推理階段我們選擇其中一個方向的變化檢測圖作為最終預測值。

這部分展示了所提出方法在不同訓練數據與測試數據下的泛化性實驗結果。對比方法採用基於深度語義分割模型的分類後比較法，作為單時相監督的基準線。實驗結果表明，所提出的方法可有效提升單時相監督下的變化檢測性能，具有很好的泛化性能。

同時為了驗證所提出架構的有效性，我們在雙時相監督下訓練了ChangeStar模型的各種變體。實驗結果（表4）表明ChangeStar架構對已有的分割模型具有良好的兼容性，在相同骨幹網路的情況下可取得更加優異的性能。

為了了解單時相、雙時相監督之間的實際差距，我們利用相同模型開展了多組對照實驗，從實驗結果中可以發現，單時相監督作為一種弱監督訊號，與雙時相監督這種強監督訊號相比仍有一定差距，但差距隨著骨幹網路容量的提升而減小，目前F1精度差距最小可縮小到10%以內。然而本文提出的方法僅僅是在單時相監督上的初步探索，未來還有更大的改進空間，例如使用模型容量更大的transfomer模型作為基礎模型、更大的單時相監督數據、更好的單時相監督學習策略都是值得未來探索的研究話題。

更多的消融實驗與討論可見原文。

在這項工作中，我們提出了單時相監督學習演算法（STAR），從而巧妙繞過了傳統的雙時相監督學習中收集成對標記數據成本高的問題。STAR提供了一個利用任意影像對中的物體變化作為監督訊號的新視角。為了證明STAR的有效性，我們設計了一個簡單而有效的多任務架構，稱為ChangeStar，用於聯合語義分割和變化檢測，它可以通過進一步提出的ChangeMixin模組重新使用任何深度語義分割架構。

大量的實驗分析表明，提出的方法可以以較弱監督資訊學習一個魯棒的變化檢測器；同樣雙時相監督條件下，超越了目前的state-of-the-art方法。我們希望STAR將作為一個堅實的基準線，在未來服務於弱監督變化檢測研究。

雷鋒網