1. 前言

剛開始看到這篇論文的時候，我就很感興趣想去復現一把看看效果。這篇論文是今年 CVPR oral 且不是深度學習方向的，其核心貢獻點就是：不管原來的濾波器保不保邊，運用了side-window思想之後，都可以讓它變成保邊濾波！ 論文地址為：https://arxiv.org/pdf/1905.07177.pdf

2. 實現和效果

利用業餘時間，參考作者開源的matlab代碼，我用C++實現了一下Side-window 盒子濾波，其他濾波器有時間再試下，下面是github的鏈接，讀者可以去跑下代碼看看效果玩下，從實驗結果上看我覺得算是復現了論文的效果：

side window 盒子濾波C++復現代碼：

https://github.com/Ldpe2G/ArmNeonOptimization/tree/master/sideWindowBoxFilter

side window 中值濾波C++復現代碼：

https://github.com/Ldpe2G/ArmNeonOptimization/tree/master/sideWindowMedianFilter

我們來看下復現論文的效果，對於一張普通圖片，經典的盒子濾波和side-window盒子濾波的效果對比：

盒子濾波效果對比圖

從濾波結果對比上可以看到，經典的盒子濾波隨着對同一張圖片反覆應用盒子濾波的迭代次數的增加，視覺效果是越來越模糊，到了30次迭代的時候已經糊的沒法看了，但是Side-window盒子濾波即使迭代了30次，對於邊緣的保持還很好，和原圖基本看不出大的區別，就是邊緣細節有些丟失。

然後對原圖加上椒鹽噪聲，再對比下濾波效果：

加了噪聲之後的盒子濾波效果對比圖

從濾波結果對比上可以看到，經典的盒子濾波到了10次迭代的時候，雖然椒鹽噪聲已經很好的消除了，但是圖片也變得很模糊，邊緣都細節都丟失了，但是Side-window盒子濾波卻能很好的消除椒鹽噪聲的同時，對於邊緣的保持還很好，基本上算是還原了原圖。

3. 原理解讀

下面從我的理解上去簡單解讀下這篇論文的核心思想，還有我在復現過程中的一些實現細節介紹。

目前的經典濾波算法基本是以某個像素點為中心，按照濾波半徑，把這個包括像素點和其鄰域加權線性組合得到輸出，一般公式如下：

是以像素點為中心的濾波窗口，是濾波權值，是原圖像素值，是輸出結果。但是這樣以一個像素為中心去濾波會導致的問題是，如果一個像素點處在邊緣位置（這裡的邊緣不是指圖片的大小邊界，而是指圖像中物體的邊緣）的話，以像素為中心去濾波會導致濾波結果的邊緣部分變模糊。具體是為什麼，論文中給出了分析過程。

首先來看下，論文中的一張圖：

三種典型的邊緣

文中提到為了分析方便只討論3種典型的邊緣，分別是圖中的 (a)階梯狀邊緣、(b)斜坡狀邊緣和(c)屋頂狀邊緣。論文中也給出了這3三種邊緣的形象展示：

三種典型的邊緣形象展示

然後文中採用了泰勒展開去分析，首先假定，圖像上坐標點的像素值為，對於圖中展示的情況來看，函數是連續但不可導的。對於(a)階梯狀邊緣的(藍色方框那個點)點來說，文中定義和來分別表示點左極限ε，和右極限ε，且ε。很明顯從圖中可以看出來εε 且/或（原論文中的用詞是）εε，導數也不等是由於邊緣部分的跳躍。因此對於這兩塊區域的泰勒展開也是不一樣的，首先來看下泰勒展開的一般公式：

「泰勒公式是將一個在 x=x0 處具有n階導數的函數 f(x) 利用關於 (x – x0) 的n次多項式來逼近函數的方法。」—-百度百科

根據文中的分析，這裡設定ε，ε，則根據泰勒展開公式：

εεε

同理，設ε，ε，則泰勒展開得：

εεε

所以從兩邊的泰勒展開式可以得出結論，對於區域的濾波估計肯定是來自區域的左邊，而對於估計是來自於的右邊，然後類比分析區域，和都可以得到類似的結論。

因此分析得到的結論是，如果一個像素點處於圖像中的邊緣位置，那麼濾波的時候就應該把濾波器的邊緣和該像素點對齊，而不是把濾波器的中心和該像素點對齊。受該發現的啟發，文中提出了一個新的保邊濾波策略，就是把每個濾波像素點都當成是潛在的邊緣點，然後對於每個待濾波的像素點，生成幾種不同的濾波子窗口，然後把這些濾波窗口的邊緣或者角點位置和該像素點對齊，然後濾波得到結果，最後根據把這些子窗口的濾波之後的最佳重構結果作為最終的濾波結果。以上就是side window 濾波的思想。

然後文中提出了8個方向的濾波窗口，分別是上、下，左、右、左上、右上、左下和右下，最後就得到了side window filter 的核心算法流程：

side window filter 的核心算法流程

其實從核心算法邏輯來看，對原來濾波算法的改動其實不大，就是濾波的窗口位置和大小需要改動下，然後把8次的結果每個位置取重構誤差最小的。然後論文中又詳細分析了box filter和side window box filter 對於上面提到的三種經典邊緣的濾波之後的保留情況。文中給出分析的圖表如下：