​基於點線特徵的激光雷達+單目視覺里程計

標題：Lidar-Monocular Visual Odometry using Point and Line Features

作者：Shi-Sheng Huang1, Ze-Yu Ma1, Tai-Jiang Mu1, Hongbo Fu2, and Shi-Min Hu1

深藍學院是專註於人工智能的在線教育平台，已有數萬名夥伴在深藍學院平台學習，很多都來自於國內外知名院校，比如清華、北大等。

摘要
本文介紹了一種新穎的使用點和線的激光雷達+單目視覺的里程計方法。與以往的基於lidar+視覺里程計相比，通過在姿態估計中引入點和線特徵來利用更多的環境結構信息。
提出了一種穩健的點線特徵深度提取方法，並將提取的深度值作為點線捆集平差法的先驗因子。
該方法大大降低了特徵的三維模糊度，提高了姿態估計精度。此外，本文還提出了一種純視覺運動跟蹤方法和一種新的尺度校正方案，從而實現了一種高效、高精度的單目視覺里程計系統。
對公開的 KITTI數據集的評估表明，該方法比最新的方法實現了更精確的姿態估計，有時甚至比那些利用語義信息的方法更好。
相關內容與介紹
激光雷達視覺里程計因其在機械人、虛擬現實、自主駕駛等領域的廣泛應用而成為一個活躍的研究課題，將視覺傳感器和激光雷達傳感器結合起來作為激光雷達視覺里程計，實現了兩種傳感器的優點，因此，在計算機視覺、計算機圖形學、機械人學等領域的研究越來越受到重視。
相關方案有LOAM,LIMO,DVL-SLAM,ORB-SLAM,DSO等等。
本文提出了一種穩健而有效的激光雷達單目視覺里程計方法，它以純幾何的方式結合點和線的特徵，從場景環境中提取比單個特徵點系統更多的結構信息。
更具體地說，我們的系統融合了攝像機跟蹤過程中的點和線特徵作為地標，並將基於點和線的地標的重投影誤差作為後端束調整的因素。
在傳感器融合過程中，提出了一種魯棒的方法從激光雷達數據中提取點和線的深度，並利用該深度輔助相機跟蹤。
這樣避免了僅僅基於可能模糊的三維三角化創建的三維地標，特別是對於三維直線。在點-線捆集調整中，將深度先驗作為先驗因子，進一步提高姿態估計精度。
內容精華
預處理
給定一個單目圖像序列和一個激光雷達序列，假設兩個傳感器的內、外參數已經校準，並且兩個傳感器的數據已經進行了時間對齊。
將相機的局部坐標設置為body坐標，世界坐標設置為body坐標的起始點。
圖片
上圖顯示了我們系統的框架，其中包含三個運行線程：運動跟蹤線程（前端）、捆集調整線程（後端）和迴環閉合線程。
前端首先在每一幀中提取點和線特徵，然後在每個關鍵幀中估計特徵的深度，最後使用幀間里程計估計相機姿勢。進行尺度校正優化幀間里程計的尺度漂移。
後端使用點線約束因子進行點線捆集調整。並基於具有點和線特徵詞袋的的迴環閉合檢測，以進一步細化關鍵幀的姿勢。
A. 特徵提取
可以使用各種點特徵（SIFT、SURF、ORB等）作為跟蹤特徵。為了提高效率，這裡採用了ORB特徵作為點特徵，如ORB-SLAM2中所述。
在檢測過程中，要求ORB特徵儘可能均勻地分佈在圖像中。線特徵對於每幅圖像，使用流行的線特徵檢測器，線段檢測器（line segment detector，LSD）來檢測線段，並計算提取線的描述子（lineband Descriptor，LBD）。
圖片
如圖可以將將短線段連接為長線段（左），或將臨近線段合併為新線段（右），以提高LSD提取線的質量
B. 點線深度提取
在本節將介紹一種從激光雷達數據中提取點和線深度的方法。
這裡，2D點特徵的深度是指其對應的3D點的深度，2D線特徵的深度是指兩個端點對應的3D地標的深度。
圖片
一個簡單的點和線深度提取說明。將稀疏的lidar數據（灰點）對準像面後，分別在點鄰域和線鄰域中提取點深度和線深度
C. 幀與幀間的里程計
使用純視覺幀間里程計來估計每個幀的相機姿態，這比其他基於ICP的里程計（如V-LOAM）更有效。
D. 基於優化的尺度校正
由於估計的尺度可能會偏離其實際物理尺度，這裡提出尺度校正優化。
其核心思想是融合由ICP對齊步驟計算出的相對相機姿態，通過比例校正優化來調整新估計的關鍵幀相機姿態和相關的3D地標。
圖片
E. 點線捆集調整
在滑動相鄰窗口的關鍵幀之間的後端形成一個點-線捆集調整，類似於ORB-SLAM2中的方法。
圖片
將三維直線地標L_w重新投影到圖像平面上，產生與線段li（左）匹配的二維直線Li，其中p0和Q0是提取的深度先驗值。重投影的直線Li和匹配線段li之間的誤差由其兩個端點到直線的距離定（右）
F. 迴環檢測
在運動估計過程中，迴環閉合包括基於關鍵幀的循環檢測和循環校正。
對於循環檢測，首先使用DBoW算法分別訓練點特徵（ORB描述符）和線特徵（LBD描述符）的詞袋。
然後將每個關鍵幀轉換為點向量和線向量。在評估關鍵幀之間的相似性時進行循環校正。
實驗
該系統是基於ORB-SLAM2實現的，有三個線程，即幀間里程計、基於關鍵幀的捆集調整和迴環檢測。
在執行ICP校準時，我們使用PCL庫中實現的正態分佈變換（NDT）來計算兩個相鄰點雲之間的相對相機姿態。
我們在公開的 KITTI訓練數據集上測試了我們的方法，該訓練數據集包含具有地面真實軌跡的00-10序列，並在64位Linux操作系統的Inte Core [email protected]和8G內存的計算機上分析了方法的精度和時間效率。
圖片
從KITTI數據集序列00的第1380幀看，純點特徵系統（左）和我們的系統（右）之間的運動跟蹤精度比較。
單個特徵點系統的跟蹤結果有明顯的漂移，而我們的結果有無漂移的運動跟蹤。
圖片
我們在KITTI數據集序列00（左）和05（右）上的運動跟蹤軌跡，分別用我們的完整的系統（*）、沒有深度優先模塊的系統（-）和沒有尺度校正模塊的系統（#）與地面真值（GT）軌跡進行比較的結果
圖片
對深度先驗和尺度校正的評估。將其精度與我們的完整系統進行了比較。如表所示，（-）表示沒有深度先驗，（#）沒有尺度校正（*）具有完整系統。
圖片
對DEMO、DVL-SLAM、LIMO和我們的KITTI訓練數據集進行了誤差分析
圖片
使用我們的完整系統對NuScenes一部分數據集測試結果，包括點線檢測結果（左）和使用估計相機姿態的最終點雲重建結果（右）。
總結
在這篇論文中提出了一個準確而有效的利用點和線特徵的激光雷達+視覺里程計方法。
通過利用更多的結構信息，證明了我們的方法比純幾何技術更精確，並且與使用額外語義信息（如LIMO）的系統達到了相當的精度。
希望這項工作能對後續的工作有所啟發，比如探索其他類型的結構先驗信息，如平面先驗、平行、正交或共面規則等，以獲得更精確的激光雷達+相機傳感器融合系統。
本文僅做學術分享，如有侵權，請聯繫刪除。
如需轉載請聯繫原作者~

Tags:

VirMach 便宜 VPS

QNews

QNews