APReLU：跨界應用，用於機器故障檢測的自適應ReLU | IEEE TIE 2020

論文的工作屬於深度學習在工業界的應用，借鑒電腦視覺的解決方法，針對機器故障檢測的場景提出自適應的APReLU，對故障檢測的準確率有很大的提升。論文整體思想應該也可以應用於電腦視覺，程式碼也開源了，大家可以嘗試下

來源：曉飛的演算法工程筆記公眾號

論文: Deep Residual Networks with Adaptively Parametric Rectifier Linear Units for Fault Diagnosis

論文地址：//ieeexplore.ieee.org/document/8998530/metrics#metrics
程式碼地址：//github.com/zhao62/Adaptively-Parametric-ReLU

Introduction

論文討論的場景是電子設備的錯誤檢測，由於在苛刻環境下長期運行，電子設備經常會不可避免地出現故障，進而造成意外和損失。而振動訊號(vibration signal)通常包含由於機器故障引起脈衝和波動，可用來檢測設備故障。近期，深度學習方法也被用於電子設備的錯誤檢測中，將振動訊號作為輸入，輸出當前設備是否正常。

主流的分類神經網路使用一組完全相同的非線性變換來處理不同的輸入，如圖a所示，F、G和H代表非線性變化，=代表非線性變換是否相同。對於振動訊號場景而言，相同健康狀態的機器，由於當前操作不同，回饋的振動訊號的差異可能較大，很難將不同波形的歸為同一健康狀態。相反的，不同健康狀態的機器偶然會產生相同的振動訊號，神經網路會將其映射到相近的區域，難以區分。綜上，固定的非線性變換在振動訊號場景中可能會對特徵學習能力帶來負面的影響，能夠自動學習並根據輸入訊號使用不同的非線性變換是十分有意義的。

論文基於ResNet提出了改進版ResNet-APReLU，如圖b所示，根據輸入訊號賦予不同的非線性變換，具體是通過插入一個類似SE(squeeze-and-excitation)模組的子網來調整激活函數的斜率，能夠大幅提升故障檢測的準確率。由於論文的場景比較特殊，所以主要學習論文提出的方法，至於應用場景相關的部分和實驗部分，就簡單地帶過就好了。

Fundamentals of classical ResNets

論文以ResNet為基礎，ResNet的核心結構如圖2a所示，相信各位都很清楚，就不再介紹了。將ResNet應用到機器錯誤識別中，如圖2b所示，輸入振動訊號，經過網路的特徵提取後進行狀態識別，判斷機器是健康還是處於其它錯誤狀態中。論文的核心是通過改進ReLU進行自適應的非線性變換，原版ReLU可公式化為：

Design of the developed ResNet-APReLU

Design of the fundamental architecture for APReLU

APReLU集成了一個特別設計的子網，有點類似於SE模組，根據輸入自適應地預測用於非線性變換的乘法因子，結構如圖3a所示，輸出channel-wise的ReLU參數，包含以下步驟：

用ReLU和GAP將輸入特徵映射到1D向量，獲取正面特徵(positive feature)的全局資訊。用min(x, 0)和GAP將輸入特徵映射到另一個1D向量，獲取負面特徵(negative feature)的全局資訊，負面資訊可能包含某些有用的故障資訊。GAP能夠處理訊號的偏移問題，將輸入特徵圖資訊壓縮為兩個1D向量，分別代表正面和負面資訊。
將兩個1D向量Concate到一起，進行FC-BN-ReLU-FC-BN-Sigmoid計算，兩個FC的輸出與輸入特徵的維度一致，最後sigmoid輸出用於公式10的\alpha \in (0, 1)因子：