論文閱讀：Improving Convolutional Networks with Self-calibrated Convolutions

  • 2020 年 7 月 23 日
  • AI

這周開始忙碌，有任務的暑假就不是假期，還是想做鹹魚快樂每一天呀！今天還是論文閱讀記錄，是來自最新cvpr2020裡面的SCnet網路的介紹。

論文名稱：
《Improving Convolutional Networks with Self-calibrated Convolutions》
論文地址：
//mftp.mmcheng.net/Papers/20cvprSCNet.pdf
程式碼地址：
//github.com/MCG-NKU/SCNet
論文閱讀參考：//blog.csdn.net/weixin_42096202/article/details/105876498
//blog.csdn.net/baidu_32335419/article/details/106930914
本篇文章只記錄個人閱讀論文的筆記，具體翻譯、程式碼等不展開，詳細可見上述的鏈接.

Background

Recent advances on CNNs are mostly devoted to designing more complex architectures to enhance their representation learning capacity.
we consider improving the basic convolutional feature transformation process of CNNs without tuning the model architectures
CNN的最新進展主要致力於設計更複雜的體系結構，以增強其特徵表示能力。而本文另闢蹊徑，考慮在不調整模型架構的情況下改進CNN的基本卷積特徵轉換過程，進而增強輸出特徵的多樣性（表達能力）。

Related Work
當前CNN網路的優化主要有兩個方面：
1.Architecture Design(結構設計）：
Alext-VGG-GoogleNet-ResNet-DenseNet-ResNeXt-NasNet
2.Long-Range Dependency Modeling(長距離依賴建模（注意力機制）)：SENet-GENet-CBAM-GCNet-GALA-AA-NLNet

Work

Do?
we present a novel self-calibrated convolution that explicitly expands fields-of-view of each convolutional layer through internal communications and hence enriches the output features.
我們提出了一種自校正卷積（多個卷積注意力組合的模組），替換基本的卷積結構，在不增加額外參數和計算量的情況下，該卷積可以通過特徵的內在通訊達到擴增卷積感受野的目的，進而增強輸出特徵的多樣性。相比於標準卷積，該卷積通過自校正操作自適應地在每個空間位置周圍建立了遠程空間和通道間依存關係，從而使得產生的特徵圖更具有區分度。
Advantages
As an augmented version of the standard convolution,our self-calibrated convolution offers two advantages.
作為標準卷積的一種增強版本，自校準卷積有兩個優勢:
1.First,it enables each spatial location to adaptively encode informative context from a long-range region, breaking the tradition of convolution operating within small regions
2.Second, the proposed self-calibrated convolution is generic and can be easily applied to standard convolutional layers without introducing any parameters and complexity over�head or changing the hyper -parameters.
1、 首先，它使每個空間位置都能自適應地編碼遠距離區域的資訊上下文，從而打破了在小區域（例如3x3）內進行卷積的傳統。 這使自校正卷積產生的特徵表示更具辨識性。
2、 其次，提出的自校正卷積是通用的，可以輕鬆應用於標準卷積層，而無需引入任何參數和複雜性開銷或更改超參數。

在上圖中，將ResNet生成的具有不同類型卷積的特徵激活圖可視化，可以看出，具有自校正卷積的ResNet可以更準確和整體地定位目標對象，並且採用SCNet的輸出對前景有明顯的分割。

Model
在介紹整個模型之前，先回顧一下以往的常規卷積操作。
假設輸入特徵為X=[x_1,x_2,…x_{ci}]輸出特徵為Y=[y_1,y_2,…y_{co}],那麼傳統的2D卷積由一組濾波器集合K=[k_1,k_2,…k_{co}]構成。此時常規卷積公式可以描述如下：

[注意： 其中『*』表示卷積，在這裡，輸入C X H X W ，在輸出通道也為C的卷積中，卷積核K的維度為C X C X H X W。]
常規卷積的缺點：
1.這種卷積的卷積核學習模式都具有相似性。
2.卷積特徵變換中每個空間位置的視野主要由預定義的內核大小控制，由此類卷積層的堆疊組成的網路也缺少大的感受野，無法捕獲足夠的高級語義。以上缺點都可能導致特徵圖的辨識度較低。

自校正卷積（Self-Calibrated Convolutions）

整個模型的具體結構如上圖所示，先進行概述再分布展開
概述：
先考慮一種簡單的情況,即輸入通道數和輸出通道數相當,即C=C'。給定一組卷積核集K,形狀為(C,C,k_h,k_w),其中k_h,k_w對應卷積核的高和寬。首先將卷積核集平均分成4部分,每部分負責不同的作用。假設C可以被2整除,這樣子得到四組卷積核,用[{K_i}]^4_{i=1}表示,相應的每部分的形狀為(C/2,C/2,k_h,k_w).
有了四組卷積核後,我們平均的劃分輸入數據X為兩部分x1,x2,之後分別送入一個特殊通路用於獲取不同的上下文資訊。在第一個通路上,我們使用了K2,K3,K4來對X1進行自校準操作,從而獲得輸出Y1。 在第二個通路上,我們使用了一個簡單的卷積操作:Y_2=F_1(X_2)=X_2*K_1,從而保有原始的空間資訊。之後將中間輸出結果Y1,Y2串聯在一起,得到輸出Y.

具體步驟：
第一，輸入特徵圖X為C X H X W大小，拆分為兩個C/2 X H X W大小的X1,X2;
第二，卷積核K的維度為C X C X H X W，將K分為4個部分，每份的作用各不相同，分別記為K1,K2,K3,K4，其維度均為C/2 X C/2 X H X W；

為了有效地收集每個空間位置的豐富的上下文資訊，作者提出在兩個不同的尺度空間中進行卷積特徵轉換：原始尺度空間中的特徵圖（輸入共享相同的解析度）和下取樣後的具有較小解析度的潛在空間（用於自校正） 。利用下取樣後特徵具有較大的感受野，因此在較小的潛在空間中進行變換後的嵌入將用作參考，以指導原始特徵空間中的特徵變換過程。
第三，自校準尺度空間：
1.給定輸入x1,我們使用濾波器尺寸為r×r步長為r（論文r=4）進行平均池化,公式如下:

2.對T1使用卷積核組K2進行特徵變換:
其中,Up()表示線性插值操作也稱為上取樣操作,從而實現,中間參考量從小尺度空間到原始特徵空間的映射。
此時,自校準操作可以表示為:
其中,F3(X1)=X1*K3,表示 sigmoid函數,以及符號」·「表示逐元素乘運算,X1被用作殘差項,來建立權重,用於自校準。
自校準後的最終輸出可以寫作:

Advantages:
The advantages of the proposed self�calibration operation are three-fold.
1.與傳統的卷積相比，通過採用校正操作允許每個空間位置不僅將其周圍的資訊環境自適應地視為來自低解析度潛在空間的嵌入，以作為來自原始比例空間的響應中的輸入，還可以對通道間依賴性進行建模。因此，可以有效地擴大具有自校準的卷積層的感受野。如下圖所示，具有自校準功能的卷積層編碼更大但更準確的區分區域。

2.其次，自校準操作不收集全局上下文，而僅考慮每個空間位置周圍的上下文，從而在某種程度上避免了來自無關區域的某些無用資訊。 從下圖的右兩欄中可以看出，在可視化最終分數層時，具有自校準功能的卷積可以準確地定位目標物體。
3、自校準操作對多尺度資訊進行編碼，這是與目標檢測相關的任務非常需要的。
總的來說，文中的self-Calibrated Convolutions就是一個多尺度特徵提取模組。作者通過特徵圖下取樣來增大CNN的感受野，每個空間位置都可以通過自校準操作融合來自兩個不同空間尺度空間的資訊。而且，Self-Calibrated Convolutions沒有引入額外的可學習參數，但是其計算量還是會增大。

Experiment

1.比較ImageNet-1k數據集上使用不同分類框架的測試結果

實驗中的訓練過程參考ResNeXt文章中的訓練,將SCNet引入其他backbone，無論ResNet、ResNeXt還是SE-ResNet均可得到一定程度的性能提升。

2.關於SCNet設計的消融實驗
當下取樣率為4，池化方式為均值池化時具有最佳性能。
3.在ImageNet上使用的基於注意力機制方法的比較

將其與其他注意力機制(CBAM、SENet、GALA、AA、GE等)方法進行了性能對比。其他注意力機制方法大多需要額外的可學習參數，而本文所提方法則無需額外可學習參數

4.在coco minival數據集上，與最優方法的比較
擴展實驗：將所提方案拓展到目標檢測、關鍵點檢測、實例分割等應用領域，進一步驗證了所提方案的性能，可以一致性的提升改善模型的性能。
(註：評價指標具體意義如下圖所示）
//blog.csdn.net/weixin_38145317/article/details/106405245?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase

Ending~

Tags:

VirMach 便宜 VPS