CVPR 2020 | 自適應的點雲降取樣，兼顧3D物體分類的準確性和效率

• 2020 年 6 月 16 日
• AI

簡介

本研究以深度神經網路為依託，面向3D點雲分類，針對現有文獻對深度神經網路中無序點雲的確定性降取樣盲目低效的問題，文章提出了自適應的點雲降取樣方法，考慮到了每個點對網路輸出的重要性，避免了點雲中部分重要的點在取樣中被去除，而價值不大的點被傳到了網路下一層。

該方法具有點序不變性（Permutation-invariant）和確定性（Deterministic），即輸入點雲中的點可以按照任意順序排列，而輸出的降取樣結果是確定的一組點，且該組點為輸入點雲的一個子集。這些性質對深度神經網路的魯棒性和分類結果的穩定性起到了重要作用。

自適應的降取樣方法，能以關鍵點層（Critical Points Layer, CPL）的方式按照用戶需要（與應用類別、訓練數據類型等相關）級聯（Hierarchical）的融入到深度神經網路中，與基於圖的點雲卷積層共同組成卷積神經網路（CP-Net）。在訓練過程中，選取的關鍵點與神經網路相結合得到層層強化，作用逐漸發揮，提高了分類的準確性和效率。

本文將CP-Net應用到3D物體分類中，在ModelNet40數據集上得到的分類準確率高於已有基於點雲的方法，在投稿時佔據了該數據集分類排行榜第一的位置。

圖1：關鍵點層

關鍵點層的結構

關鍵點（Critical Points）的選取以及關鍵點層的形成簡單高效。與大多數基於圖（Graph-based）的點雲降取樣方法不同，該方法並不使用k-NN尋找每個點的最近鄰，而只需在全局範圍找到關鍵點即可，因此效率極高。

圖1描述了關鍵點層的基本結構。對於具有d維特徵的n個輸入點，該方法在每一維使用n個點中的最大值來組成一個新的特徵向量，具有這些最大值的點被稱為關鍵點。同時，在索引向量（Index Vector）中保留關鍵點的順序號（即第幾個）。對於可能出現的一個關鍵點在多個維度都有最大值的情況，只需保留一個順序號並且在特徵向量的對應位置使用最大值的和。

圖1中的fs和uidx表示了該特徵向量以及對應的關鍵點的索引向量。方法對特徵向量及其索引向量按升序重排，進而使用最近鄰重整（Nearest Neighbor Resizing）的方法把排序後的索引向量（圖1中的suidx）上取樣到一個維數固定的值，從而滿足神經網路對於批處理（Batch Processing）中點的數量必須一致的要求。最後，按照上取樣後索引向量（rsuidx）中存取的點的序號提取需要的點。可以看出，該過程不依賴點雲中點的順序，即n個點可以任意重排，其最終的降取樣結果，即挑選出的關鍵點不變，因此演算法具有點序不變性，而特徵向量與其對應的索引向量始終成對存在，確保了取樣過程的一致性和確定性。

圖2：CP-Net網路結構與流程圖

關鍵點網路（CP-Net）

本文提出的CPL生成方法適用於任意處理3D點雲的網路結構，具有良好的普適性。圖2描述了CPL應用的一個樣例，即CP-Net。

本例中卷積層輸出的特徵矩陣Fsj可以作為CPL的輸入，而kj則用來控制降取樣後點的數量。用戶可以在CP-Net中根據需要加入任意多個CPL達到降取樣的目的。由於CPL挑選到的都是具有明顯特徵（同維最大值）的關鍵點，在與神經網路相互結合訓練的過程中，這些關鍵點不斷得到強化，其作用逐步突出。

3D物體分類

圖3：基於CP-Net的點雲分類網路結構

以CP-Net為核心，本文提出了一種可以應用於點雲分類的深度神經網路架構，如圖3所示。該網路包含了三個子網：即特徵提取子網，降取樣子網以及分類子網。

可以看出，原始點雲經過特徵提取後，形成了具有1024維特徵的點雲，而CPL的使用，把點的數量降取樣到了n/4，從效率上講，這對後續EdgeConv層的進一步處理至關重要。這n/4個點經過ReduceMax後形成一個1024維的向量，最終由分類子網給出類別資訊。本研究在點雲分類上取得了比主流方法（PointNet++,DGCNN）準確率更高的分類結果。

---