NeurIPS2019無人駕駛研究成果大總結（含大量論文及項目數據）

• 2020 年 2 月 21 日
• 筆記

神經資訊處理系統大會（NeurIPS），是一個機器學習和計算神經科學相關的頂級學術會議。每年的12月舉辦。2019的第33屆NeurIPS在加拿大溫哥華於12月8日至14日舉辦，本屆會議更有投稿6743篇，其中1428篇接收，錄取率21.2%。NeurIPS2019開設了自動駕駛專題研討會，收錄了來自全球各大自動駕駛科研院所和公司的論文。本篇文章小編為您梳理一下NeurIPS2019上的那些自動駕駛研究成果。在我愛電腦視覺公眾號後台回復「NeurIPS2019」獲取論文合集及相關材料。

NeurIPS介紹

神經資訊處理系統大會（NeurIPS），前稱NIPS，是一個機器學習和計算神經科學相關的頂級學術會議，每年12月舉行。1986年由加利福尼亞理工學院和貝爾實驗室的學者提出，1987年首次舉辦。2000年前舉辦地均在美國丹佛，此後曾在美國、西班牙、加拿大多地舉辦。

圖 NeurIPS2019投稿主題關鍵詞分析

2019的第33屆NeurIPS在加拿大溫哥華於12月8日至14日舉辦，本屆會議更有投稿6743篇，其中1428篇接收，錄取率21.2%。

NeurIPS2019自動駕駛研討會

自動駕駛（AV）為機器學習（ML）社區提供了豐富的高影響力研究問題來源；包括感知，狀態估計，概率模型，時間序列預測，手勢識別，魯棒性保證，實時約束，多智慧體和智慧基礎架構。此外，ML子領域之間朝著自動駕駛共同目標的交互作用可激發有趣的領域間討論，從而激發新的研究途徑，本次研討會旨在促進這些研究。作為ML的一種應用，自動駕駛技術有可能通過減少交通事故，給無法駕駛的人提供獨立性，甚至通過在當地街道上清晰可見的基於ML的技術實例來啟發年輕一代，從而極大地改善社會。

圖 NeurIPS2019自動駕駛徵稿範圍

本次NeurIPS2019自動駕駛研討會接收有關自動駕駛的機器學習的論文，包括（但不限於）：

•有監督的場景感知和分類

•用於駕駛的無監督表示學習

•行人和車輛的行為建模

•手勢識別

•通過AV軟體管道傳播的不確定性

•度量用於自動駕駛

•自動駕駛基準

•實時推理和預測

•多主體交通場景的因果模型

•不受分布路況的影響

•模仿駕駛策略

•將學習從模擬轉移到現實世界（Sim2Real）

•與人力車輛的協調

•與車輛（V2V）或基礎設施（V2I）的協調

•可解釋的駕駛決策

•基於用戶偏好的自適應駕駛方式

自動駕駛分論壇論文詳情

【文章】Self-Drivinglike a Human driver instead of a Robocar: Personalized comfortable driving experiencefor autonomous vehicles

【簡介】本文提出了一種基於個人駕駛偏好的自動駕駛汽車綜合控制系統，為自動駕駛汽車用戶提供個性化的舒適駕駛體驗。本文提出了一個駕駛員偏好度量(OPM)，它定義了一個最佳的橫向和縱向加速區域。此外，本文提出了一種基於控制參數的車輛控制器，通過自動車輛的優先感知機動實現橫向和縱向的綜合控制。該系統不僅提供了駕駛員駕駛偏好的標準，而且提供了一個個性化的自動駕駛風格，就像一個人類駕駛員而不是機器人汽車。模擬和實驗結果表明，該系統通過跟蹤指定的允許加速度和顛簸準則，可以像人駕駛員一樣操縱自動駕駛車輛。

【文章】End-to-EndDeep Path Planning and Automatic Emergency Braking Camera Cocoon-based Solution

【簡介】為了擁有一輛功能齊全的自動駕駛汽車，系統需要有不同的功能塊，如自動緊急制動(AEB)，車道保持輔助(LKA)，主動巡航控制(ACC)，交通堵塞輔助(TJA)，碰撞避免(CA)。路徑規劃是自動駕駛的主要模組之一，該模組集成到系統中，以確保這些功能正常工作。與傳統技術不同的是，本文的解決方案是使用單個塊來解決問題。本文只依靠覆蓋在車輛四面360度的攝影機捕獲由深度卷積神經網路處理的連續影像流。該網路的輸出控制三種車輛的組成部分:油門、方向盤和剎車。本文基於CARLA模擬器構建了自己的基準測試，因為在本文提出的想法中存在基準測試。該模型具有區分超車和剎車的泛化能力，被認為是道路規劃和自動緊急剎車功能的第一個深度學習解決方案。程式碼和影片地址：

https://github.com/eslambakr/Path_Planning_using_Deeplearning

【文章】SpatialInfluence-aware Reinforcement Learning for Intelligent Transportation System

【簡介】智慧交通系統(ITSs)被認為是智慧城市的關鍵，旨在改善交通流量，提高城市居民的生活品質，減少擁堵，提高通勤效率。在這篇論文中，本文探討了相互資訊共享的潛力，換句話說，基於空間影響的通訊，以優化交通燈控制政策。首先，本文對交通系統進行數學分析。本文的結論是，交通系統不具有平穩的納什均衡，因此強化學習演算法提供了合適的解決方案。其次，本文描述了如何建立一個包含空間影響和社會群體效用的多智慧體深度確定性政策梯度(DDPG)系統。然後利用網格拓撲網路對新系統的可擴展性進行了實證驗證。本文演示了三種定向通訊類型，以展示社會影響方向對整個網路效用和個人效用的影響。最後，本文定義了自私指標，分析了自私指標對群體總效用的影響。

【文章】Meta-LearningDeep Visual Words for Fast Video Object Segmentation

【簡介】本文開發了一種快速演算法，它不需要細化、輔助輸入或後處理，並且在一次向前移動中分割數量不定的對象。本文在嵌入空間中表示一個具有集群或可視單詞的對象，它對應於影像空間中的對象部分。這使本文能夠在整個影片中與參考對象進行有力的匹配，因為儘管一個對象的整體外觀會隨著它的遮擋和變形而變化，但更多局部部分的外觀可能會保持一致。本文以無監督的方式學習這些視覺辭彙，使用元學習來確保本文的訓練目標與推理過程相匹配。本文實現了與基於finetuning的方法相當的精度，並在四個影片分割數據集的速度/精度權衡方面達到了最先進的水平。

【文章】DynaNet:Neural Kalman Dynamical Model for Motion Estimation and Prediction

【簡介】動力學模型估計和預測物理系統的時間演化。本文提出了一種混合深度學習和時變狀態空間模型，可以端到端的訓練。本文的神經卡爾曼動態模型允許本文利用每種方法的相對優點。本文演示了最先進的估計和預測的一些物理挑戰的任務，包括視覺測程，感測器融合的視覺慣性導航。此外，本文還展示了DynaNet如何通過對創新率(卡爾曼增益)等特性的研究來指示故障。

【文章】JointTriangulation and Mapping via Differentiable Sensor Fusion

【簡介】感測器融合的挑戰在路線規劃、機器人和自動駕駛汽車中非常普遍。本文利用自動微分(AD)和概率規劃來開發一種端到端的隨機優化演算法，用於感測器融合和大量未知對象的三角剖分。本文的演算法使用生成式模型來訓練期望最大化(EM)聚類求解器。通過聯合估計不同類型物體的數量和位置，以及感測器雜訊特徵參數和物體的先驗分布，驗證了從無深度資訊的雜訊地理位置街面影像中提取的街道標誌檢測方法。

【文章】VisibilityGuided NMS: Efficient Boosting of Amodal Object Detection in Crowded TrafficScenes

【簡介】目標檢測是自主駕駛環境感知中的一項重要工作。本文的新型可見性引導NMS (vg-NMS)利用基於像素和amodal對象檢測範例，提高了檢測性能，特別是對於高度遮擋的對象，計算很小。本文使用KITTI、VIPER和Synscapes數據集對vg-NMS進行了評估，結果表明它的性能優於當前最先進的NMS。

【文章】UrbanDriving with Conditional Imitation Learning

【簡介】為真實世界的城市自動駕駛制定通用的決策規則是困難的。本文專註於從人類駕駛演示中學習IL的電腦視覺的語義、幾何和運動表示。作為本文的主要貢獻，本文提出了一種端到端的條件模仿學習方法，結合橫向和縱向的控制在一個真實的車輛，以遵循城市路線與簡單的交通。本文通過數據平衡來處理固有的數據集偏差，在6個月的時間裡收集了大約30個小時的演示，並對本文的最終策略進行了培訓。本文通過在歐洲城市街道上行駛35公里的新路線來評估本文的方法。

【文章】HybridSensor Fusion Framework for Perception in Autonomous Vehicles

【簡介】本文提出了一種新的混合多感測器融合管道結構，用於自動駕駛車輛的環境感知，如道路分割、障礙物檢測和跟蹤。該融合框架採用了改進的基於全卷積神經網路(FCN)的編解碼器和傳統的擴展卡爾曼濾波(EKF)非線性狀態估計方法。本文的方法使用相機、光學雷達和雷達感測器的配置，這個混合框架的目標是提供一個相對輕量級、模組化和健壯的融合系統解決方案。與可用於自主車輛嵌入式電腦的基準模型相比，它採用了改進的演算法，提高了環境感知精度和實時效率。與基準技術相比，本文的融合演算法在各種環境場景中顯示出更好的性能。該演算法在車輛上實現，利用從車輛上採集的實際感測器數據進行測試，實現實時環境感知。

【文章】End-to-End Delay Analysis and Optimization of Object Detection Module for AutonomousDriving

【簡介】為了開發安全的自主駕駛系統，需要對其目標檢測模組從相機到輸出的延時進行深入的分析和優化。然而，令人驚訝的是，很少有人注意到這種基於dna的對象檢測器的端到端延遲。就本文所知，這項研究是第一次嘗試從端到端的延遲來分析Darknet YOLO對象探測器的內部結構。在分析結果的基礎上，本文提出了一種優化的系統架構，該架構採用了改進的流水線策略，滿足了一般目標檢測器的需求。本文的經驗評估顯示，在本文的評估平台上，端到端延遲從1335毫秒下降到229毫秒，減少了83%。注意，本文只修改系統架構，並不改變DNN架構本身;因此不會對檢測精度造成任何損失

【文章】LearningAdaptive driving behavior using Recurrent Deterministic Policy Gradient

【簡介】在這項工作中，本文提出了自適應駕駛行為的模擬汽車使用連續控制深度強化學習。深確定性策略梯度(Deep Policy Gradient, DDPG)是已知的能夠在模擬環境中實現平穩駕駛的策略。但是簡單的前饋網路，缺乏包含時間資訊的能力，因此本文使用遞歸變型稱為遞歸確定性策略梯度。在交通密集的情況下，它能夠減速以避免碰撞，在交通稀疏的情況下，它會加速並改變車道以超車。本文的主要貢獻有:1.遞歸確定性策略梯度的應用。2.新穎的獎勵函數公式。3.修改後的重放緩衝區稱為近重放緩衝區和遠重放緩衝區，其中本文維護兩個重放緩衝區，並從它們中平均取樣。

【文章】SocialAttention for Autonomous Decision-Making in Dense Traffic

【簡介】本文研究在密集交通環境下行為規劃的學習架構設計。這樣的架構處理附近不同數量的車輛以保持不變的順序選擇來描述它們，同時保持準確和緊湊。本文提出了一種基於注意力的體系結構，它滿足所有這些屬性，並且明確地考慮了流量參與者之間的現有交互。本文展示了該架構帶來了顯著的性能提升，並且能夠捕獲可被可視化和定性解釋的交互模式。影片和程式碼地址：https://eleurent.github.io/social-attention/.

【文章】Radar andCamera Early Fusion for Vehicle Detection in Advanced Driver Assistance Systems

【簡介】感知模組是現代高級駕駛員輔助系統(ADAS)的核心。為了提高該模組的品質和魯棒性，特別是在光照和天氣條件變化等環境雜訊存在的情況下，感測器(主要是攝影機和光學雷達)的融合是近年來研究的重點。在這篇論文中，本文關注一個相對未開發的領域，即攝影機和雷達感測器的早期融合。為了提高感知模組的準確性和魯棒性，本文將經過最小處理的雷達訊號與相應的攝像機框架一起提供給本文的深度學習架構。本文對真實世界數據的評估表明，雷達和攝像機訊號的互補性可以在應用於目標檢測時減少15%的橫向誤差。

【文章】BenchmarkingRobustness in Object Detection: Autonomous Driving when Winter is Coming

【簡介】不管影像是否失真或天氣狀況如何，探測目標的能力對於像自動駕駛這樣的深度學習在現實世界中的應用是至關重要的。本文在這裡提供了一個易於使用的基準來評估當影像品質下降時對象檢測模型的執行情況。得到的三個基準數據集(稱為Pascal-C、co-c和cityscaps-c)包含大量的影像損壞。本文證明了一系列標準的目標檢測模型在損壞的影像上有嚴重的性能損失(下降到原始性能的30%到60%)。然而，一個簡單的數據增強技巧風格化的訓練影像導致大量增加魯棒性的腐敗類型，嚴重程度和數據集。

【文章】Boostingsemantic segmentation with multi-task self-supervised learning for autonomousdriving applications

【簡介】自動駕駛汽車需要了解周圍複雜而動態的環境。分類、分割和檢測等任務的解決方案提供了理解此環境所需的資訊。這些任務的最新解決方案基於監督學習，這需要大量帶注釋的數據。生產這樣的數據是極其昂貴和勞動密集型的。未加標籤的圖片和影片可以以微不足道的成本大量獲得。在本研究中，本文使用它來提高單個監督任務的性能。本文探討兩個自我監督的任務:著色和深度預測。性能是通過兩個數據集來評估的:Cityscapes和KITTI。總的來說，本文發現當使用語義分割訓練自監督任務時，提高了3%。綜上所述，自監督學習提高了語義分割的性能，而不需要額外的注釋或與推理相關的計算成本。

【文章】Simulation-basedreinforcement learning for real-world autonomous driving

【簡介】本文使用合成數據和強化學習演算法來訓練一個系統，該系統控制一個全尺寸的真實世界的車輛在一些受限的駕駛場景。驅動策略使用RGB影像作為輸入。本文分析了有關感知、控制和訓練的設計決策如何影響真實世界的性能。

【文章】UnderstandingNatural Language Parking Instructions and Grounding for Self-driving Cars

【簡介】自動駕駛的實際應用已經得到了快速的發展，使用自然語言進行交互操作將很快成為輕鬆操作自動駕駛汽車的必要手段。在本研究中，本文試圖實現一個對應關係，即在自然語言表達的駕駛指令和汽車感測器識別的現實世界中的物體之間。然後，本文提出了一種利用信念傳播法解決接地問題的方法，並以實際觀測到的感測器數據為例進行了說明。本文特別關注汽車的停車操作。

【文章】CNNs forInterference Mitigation and Denoising in Automotive Radar Using Real-World Data

【簡介】雷達感測器對於駕駛員輔助系統和自動駕駛汽車的環境感知至關重要。本文評估了一種基於卷積神經網路(CNN)的方法來減少真實雷達測量中的干擾。本文將真實的測量數據與模擬的干擾相結合，以創建適合於訓練模型的輸入輸出數據。通過有限樣本容量的性能比較，驗證了該模型在模擬數據和真實數據上訓練的有效性以及在轉移學習上的有效性。比較性能分析強調了基於cnn的模型在減少干擾和去噪真實測量中的潛力，同時也考慮了硬體的資源約束。

【文章】UnsupervisedNeural Sensor Models for Synthetic LiDAR Data Augmentation

【簡介】數據稀缺是基於機器學習的感知模組的瓶頸，通常通過從模擬器中添加合成數據來解決。本文提出了兩種無監督的神經感測器模型，基於不配對的領域翻譯與CycleGANs和神經風格的轉移技術。本文使用CARLA作為模擬環境來獲得模擬的光學雷達點雲，並使用它們的注釋來增強數據，本文使用KITTI數據集作為真實的光學雷達數據集，從中學習真實的感測器模型映射。此外，本文利用YOLO網路為光學雷達Birdeye-View投影點雲提供定向邊界盒，通過外部目標檢測任務評估，為所開發的感測器模型提供了一個數據擴充和評估的框架。

【文章】ScribbleSupervised Annotation Algorithms of Panoptic Segmentation for AutonomousDriving

【簡介】大規模的地面真值數據集對於基於深度學習的分割模型是至關重要的，但是對每個像素的掩碼進行注釋是非常耗時的。在本文中，本文研究了基於半標註圖的分割演算法。更準確地說，本文引入了一個離散Potts模型的類，以及一個確保全局最優的類可感知整數線性規劃(ILP)。這兩種演算法都可以在塗鴉的監督下生成全光分割，並且可以採用RGB，或者利用任何DCNN的特徵圖作為輸入，不管是否在目標數據集上訓練。本文在PASCAL VOC數據集上給出了有競爭力的語義分割結果，並在更具挑戰性的Cityscapes數據集上報告了全光分割結果。本文的演算法表現出優越的結果，使它們適合於新數據集上的弱監督分割，或由人工注釋器在現有數據集上互動式半自動地生成地面真相。

【文章】EfficientBlack-box Assessment of Autonomous Vehicle Safety

【簡介】雖然自動駕駛汽車(AV)技術已經顯示出實質性的進步，但本文仍然缺乏工具進行嚴格和可擴展的測試。模擬測試框架需要對要運行的場景進行優先順序排序，了解所選擇的場景如何提供故障模式的覆蓋率，並根據重要性對故障場景進行排序。本文實現了一個模擬測試框架，評估整個現代AV系統作為一個黑盒。該框架估計了控制標準交通行為的基本分布下的事故概率。為了加快罕見事件概率評估的速度，本文通過自適應重要性抽樣方法有效地學習了故障場景的識別和排序。

更多自動駕駛論文詳見：https://ml4ad.github.io/

本次會議完整論文列表：https://nips.cc/Conferences/2019/Schedule?type=Poster