深入淺出理解EdgeBoard中NHWC數據格式

• 2019 年 10 月 3 日
• 筆記

摘要:

        在深度學習中，為了提升數據傳輸頻寬和計算性能，經常會使用NCHW、NHWC和CHWN數據格式，它們代表Image或Feature Map等的邏輯數據格式（可以簡單理解為數據在記憶體中的存放順序）。本文以百度的AI端上推理設備EdgeBoard為原型，介紹EdgeBoard選擇NHWC數據格式的技術考量。

　　EdgeBoard簡介

　　EdgeBoard是百度基於FPGA晶片研發的嵌入式AI解決方案,高性能的加速引擎可提供3.6Tops的強大算力,完整的嵌入式參考設計使硬體集成輕鬆便捷。目前EdgeBoard提供了FPGA軟核和計算卡模組兩種形態供硬體集成,面向項目部署也提供了抓拍機和計算盒兩種基礎硬體產品。EdgeBoard深度兼容百度大腦模型資源與工具平台(EasyDL/AI Studio),極大降低了開發驗證、產品集成、科研教學、項目部署門檻,適用於安防監控、工業質檢、醫療診斷、農作物生長監控、無人駕駛、無人零售等場景

　　數據格式的邏輯表示與物理表示

　　深度學習中經常會使用NCHW、NHWC和CHWN數據格式來表示數據,其中N、H、W、C定義如下:

　　N:一個batch內圖片的數量,一次處理的圖片數量

　　H:垂直高度方向的像素個數,圖片的高

　　W:水平寬度方向的像素個數,圖片的寬

　　C:通道數。例如灰度影像為1, 彩色RGB影像為3

　　下圖表示N=2,C=16,H=5,W=4的數據排列,其中左圖是邏輯表示,右圖是物理表示。

　　以NCHW為例,其邏輯表示如左上圖,n=0時,三個坐標分別標識了C、H、W的方向。第一個元素是000,第二個元素沿著w方向,即001,隨後是002, 003;然後沿H方向,即004, 005, 006, 007…如此反覆到019後;再沿C方向,020,021, 022 …..一直到319;再沿N方向,也就是n=1,然後重複W方向,H方向和C方向。

　　根據以上NCHW的劃分,物理地址表示定義如下(如右上圖):

　　[a:0] 表示W方向,在一行內從左到右

　　[a:1] 表示從H方向,一行一行的從上到下

　　[a:2] 表示在C方向,從一個通道到另外一個通道

　　[a:3] 表示從N方向,從n=0 到n=1

　　最終NCHW數據格式的物理分布(在記憶體中的一維表示)表示為000 001 002 003 004 … 018 019 020 … 318 319 320 … … 637 638 639。可以理解成把一個通道的所有像素一行一行地排列起來,然後排下一個通道,即n=0排列完後再排n=1。

　　同理NHWC表示是先沿C方向,再沿W方向,再沿H方向,最後沿N方向。所以在記憶體的存放順序是,第一個元素是000,第二個沿C方向,即020,040, 060 …一直到300,之後切換到W方向,001 021 041 061…301..到了303後再切換到H方向,即004, 024 … 304,最後到了319,再切換到N方向,320,340 …一直到639。

　　[b:0] 表示C方向,第一個像素從一個通道到另外一個通道

　　[b:1] 表示從W方向,最後一個通道第一個像素回到第一個通道的第二個像素

　　[b:2] 表示在H方向,最後一個通道第一行最後一個像素回到第一個通道的第二行的第一個像素

　　[b:3] 表示從N方向,從n=0 到n=1

　　NHWC其物理表示為000 020 … 300 001 021 … 283 303 004 … 319 320 340 … … 339 359 … 639。可以理解成把一個batch的一個像素的所有通道先排列起來,然後排下一個像素。n=0排列完成後,再排n=1。

　　同理CHWN其邏輯表示,先沿N方向,再沿W方向,再沿H方向,最後是沿C方向。

　　[c:0] 表示從N方向,從n=0的第一個像素到n=1的第一個像素

　　[c:1] 表示從N方向,從n=1的第一個像素回到n=0的第二個像素

　　[c:2] 表示在H方向,從n=1的第一行最後一個像素回到n=0的第二行第一個像素

　　[c:3] 表示從N方向,從n=1的第一個通道最後一個像素回到n=0的第二個通道第一個像素

　　CHWN其物理表示為 000 032 001 321 … 003 323 004 324 … … 019 339 020 …。可以理解成先把一個batch中N幅影像的第一個通道第一個像素排列起來,然後排第二個像素;再排第二個通道,第三個通道…

　　數據在記憶體中的偏移地址

　　深度學習中涉及大量的數據計算,計算需要從記憶體中取出數據,因此需要計算出數據的偏移地址以便進行取數。有了上面的邏輯表示和物理表示,可以推導出4維邏輯表示(n,c,h,w)映射到一維記憶體中偏移地址的公式。

　　定義位置(n,c,h,w)表示第n個batch的第c通道的第h行的第w列,那麼該位置在不同數據格式下,在記憶體中的偏移地址計算公式如下: NCHW: offset_nchw(n, c, h, w) = n * CHW + c * HW + h * W + w NHWC: offset_nhwc(n, c, h, w) = n * HWC + h * WC + w * C + c CHWN: offset_chwn(n, c, h, w) = c * HWN + h * WN + w * N + n 其中N、C、H、W為常量,n、c、h、w為變數

　　在NCHW中,CHW=C*H*W,表示一個Batch,可以理解成一個BGR 3通道的圖片,表達的是一個立方體。HW=H*W,表示一個平面,可以理解成是BGR 3通道圖片的一個通道(灰度圖就是一個通道圖片)。W是一行,可以理解成一個通道上的一行。

　　以上圖為例,如果想計算出綠色圈,即341的位置(n=1,c=1, h=0, w=1)。我們需要先跳過n=0的數據(CHW),圖中箭頭1指向的藍色框區域;再跳過n=1的第一個通道(HW),圖中箭頭2指向藍色框區域;這時進入到了n=1的第二個通道,跳過h=0行(0*W);最後跳過w個數到達偏移位置。

　　EdgeBoard為何使用NHWC

　　下面來分析EdgeBoard選擇NHWC數據格式的原因。

　　上圖表示卷積的計算過程。根據卷積的運算特點,相同位置窗口所有通道數與卷積的參數相乘後累加,可以有下面兩種計算方式:

　　先通道後像素:先把一個像素點的所有通道數與卷積的參數相乘後累加,再進行下一個像素,直到卷積核窗口乘累加完成。比如第一次滑窗的計算公式 (w0,0,0)*(x0,0,0) + (w1,0,0)*(x1,0,0) + (w2,0,0)*(x2,0,0) + (w0,0,1)*(x0,0,1) + (w1,0,1)*(x1,0,1) + (w2,0,1)*(x2,0,1) + (w0,0,2)*(x0,0,2) + (w1,0,1)*(x1,0,2) + (w2,0,2)*(x2,0,2) + (w0,1,0)*(x0,1,0) + (w1,1,0)*(x1,1,0) + (w2,1,0)*(x2,1,0) + (w0,1,1)*(x0,1,1) + (w1,1,1)*(x1,1,1) + (w2,1,1)*(x2,1,1) + (w0,1,2)*(x0,1,2) + (w1,1,1)*(x1,1,2) + (w2,1,2)*(x2,1,2) + (w0,2,0)*(x0,2,0) + (w1,2,0)*(x1,2,0) + (w2,2,0)*(x2,2,0) + (w0,2,1)*(x0,2,1) + (w1,2,1)*(x1,2,1) + (w2,2,1)*(x2,2,1) + (w0,2,2)*(x0,2,2) + (w1,2,1)*(x1,2,2) + (w2,2,2)*(x2,2,2) = 0*-1 + 0*-1 + 0*0 + 0*1 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*1 + 1*0 + 2*1 + 1*0 + 0*0 +1*0 + 0*0 + 0*0 + 0*1 + 2*1 + 0*-1 + 1*-1 + 2*1 + 0*0 + 0*-1 + = 5

　　先像素後通道:先把一個通道滑動窗口與卷積參數相乘後累加,再進行下一個通道,直到所有通道乘累加完成。比如第一次滑窗計算公式

　　(w0,0,0)*(x0,0,0) + (w0,0,1)*(x0,0,1) + (w0,0,2)*(x0,0,2) + (w0,1,0)*(x0,1,0) + (w0,1,1)*(x0,1,1) + (w0,0,2)*(x0,1,2) + (w0,2,0)*(x0,2,0) + (w0,0,1)*(x0,2,1) + (w0,0,2)*(x0,2,2) + (w1,0,0)*(x1,0,0) + (w1,0,1)*(x1,0,1) + (w1,0,2)*(x1,0,2) + (w1,1,0)*(x1,1,0) + (w1,1,1)*(x1,1,1) + (w1,0,2)*(x1,1,2) + (w1,2,0)*(x1,2,0) + (w1,0,1)*(x1,2,1) + (w1,0,2)*(x1,2,2) + (w2,0,0)*(x2,0,0) + (w2,0,1)*(x2,0,1) + (w2,0,2)*(x2,0,2) + (w2,1,0)*(x2,1,0) + (w2,1,1)*(x2,1,1) + (w2,0,2)*(x2,1,2) + (w2,2,0)*(x2,2,0) + (w2,0,1)*(x2,2,1) + (w2,0,2)*(x2,2,2) = 0*-1 + 0*1 + 0*0 + 0*0 +0*1 + 1*0 + 0*0 + 2*1 + 2*1 + 0*-1 + 0*-1 + 0*0 + 0*0 + 1*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 2*1 + 1*0 + 0*1 + 1*-1 + 0*-1 = 5

　　可以看出兩種方式計算的結果是一樣。

　　而對於NHWC格式,即先通道後像素,是把一個像素的所有通道的數據放在一起。這樣對應上圖第一個像素的3個通道值,第二個像素的3個通道值,第三個像素的3個通道值,它們在記憶體中的地址都是連續的,也就是說一次就可以把kernel第一行需要計算的數取出,3×3的kernel需要3次取數。

　　而對於NCHW格式,即先像素後通道,是把一個通道的所有像素按順序排列,這樣對於一個3*3的卷積核,需要每取3個數就需要跳躍n個數後,再取3個數。一個通道需要取3次,3個通道需要取9次。

　　在實際網路中,通常通道數會遠大於卷積kernel數(不會像上圖只有3個通道,通常是幾十、幾百個通道)。這樣對於NHWC格式來說說,取數的次數會比NCHW少很多。對EdgeBoard來說,為了增加其所支援網路的廣泛性,減少對大輸入尺寸和高存儲量權重網路的限制,採用NHWC的格式可以實現分批次地把Feature Map和Weight數據讀取到FPGA的片上快取,例如對於3×3的Kernel,我們可以只讀取三行(3WC)Feature Map的數據到FPGA內進行計算,即可得到一行輸出數據,並傳輸到片外大容量快取DDR,而不需依賴下一個3WC的Feature Map輸入數據就可完成每一批次的輸入輸出數據傳輸。

　　再例如,我們也可將Weight數據根據FPGA片上快取的不同大小分割成N份,一份一份發送到FPGA分別做卷積運算後,再傳輸回DDR做相應拼接,這等同於做一次大的卷積運算,好處在於可以根據不同容量的FPGA器件做不同匹配,大大提高了程式碼的硬體適配性。此外,由於C維度之間數據相關性較弱,採用NHWC格式更能發揮FPGA高並行度的計算特點,充分利用FPGA的算力。

　　下表為EdgeBoard使用NHWC數據格式的網路性能:

　　參考鏈接:

　　[1] Intel MKL github

　　https://intel.github.io/mkl-dnn/understanding_memory_formats.html

　　[2] 零基礎入門深度學習

　　https://www.zybuluo.com/hanbingtao/note/485480

　　福利

　　據可靠消息:EdgeBoard正在打折中,歷史最低價,直降1000元,有興趣可以看看:https://aim.baidu.com/product/5b8d8817-9141-4cfc-ae58-640e2815dfd4