CVPR'21 Autonomous Driving Notes

Karpathy在會議上的一些紀要：

2. 數據自動標註

Tesla的自動標註用了radar，推理的時候不用不代表採集數據的時候不用．而且offline自動處理數據有一個在線沒有的優勢就是可以look into the future，從未來來反推現在．

特斯拉的跟蹤做的還是很牛逼，可以see through snow．

3. 數據引擎與影子模式

影子模式會和數據引擎一起，不斷地循環改進本體的性能，直到本體表現出非常好的性能

4. 時序網路模型

特斯拉首次公開FSD新版本的模型架構，可以看出，這是一個時序的模型，而且特斯拉的模型融合模組，不是多個圖片直接拼接，而是先抽取特徵再拼接．

特斯拉雖然把所有的輸出都封裝到了一個模型，但是在輸出的地方確實分開訓練的，不同的模型可以只finetune那一個任務．這就等於是在輸出的時候decouple了．

5. 720個8卡A100 GPU組成的道場

真煉丹，全球算力排名第五…..

6. 精心挑選場景測試單元

每次提交都會測試這些Clips.

7. Tesla的深度估計真他媽牛逼

這是純視覺的深度估計你敢信嗎？？

8. 特斯拉真正牛逼的是…

司機即使沒有開FSD，影子模式還是在跑，它在幹什麼？在對比它的輸出和你的決策！換句話來說，它在學習你！然後會偷偷地把這些數據傳給Karpathy…..