Facebook開源演算法程式碼庫PySlowFast，輕鬆復現前沿影片理解模型

機器之心發布

機器之心編輯部

在近些年的影片理解研究中，Facebook AI Research 貢獻了許多精彩的工作。近日，FAIR影片團隊在 ICCV 相關研討會上開源了影片識別檢測程式碼庫 PySlowFast，並同時發布了預訓練的模型庫。同時，該團隊表示，他們還將實時將他們的前沿工作添加至此程式碼庫。

項目地址：https://github.com/facebookresearch/SlowFast
Tutorial 地址（附 PPTT 資源）：https://alexanderkirillov.github.io/tutorials/visual-recognition-iccv19/

影片與動作理解儼然已成為當今最火熱的研究方向之一，然而在開源社區中找到一個簡潔、高效、易於修改的影片理解程式碼庫仍不是一件簡單的事情。更重要的是，復現當今前沿的 (state-of-the-art) 的深度學習模型一直是一件令研究者頭疼的事情。

這些影片理解模型往往動輒幾十 GFlops，需要訓練數天，而復現出一個模型需要反覆的實驗調參，讓每個細節都正確。這往往會耗費大量的時間和資源，讓很多研究者望而卻步。

Facebook AI Research 在 CVPR、ICCV 等國際會議發布了眾多研究工作，並贏得了 CVPR 2019 行為檢測挑戰賽的冠軍。而後，在今年的 ICCV 上，FAIR 推出了他們的影片理解程式碼庫：PySlowFast。

PySlowfast 是一個基於 PyTorch 的程式碼庫，讓研究者可以輕而易舉地復現從基礎至前沿的影片識別 (Video Classification) 和行為檢測 (Action Detection) 演算法。

不但如此，PySlowFast 程式碼庫同時開源了大量預訓練模型 (pretrain models)，讓研究者省去了反覆訓練模型的煩惱，可以直接使用 FAIR 預訓練的前沿 (cutting edge performance) 模型。

pySlowFast開源的模型的可視化檢測結果

自開源後，PySlowFast 就一度蟬聯 GitHub 趨勢榜前十。以下對此開源項目進行了簡要介紹。

根據研討會教程和開源程式碼庫資訊，PySlowFast 既提供影片理解基準線（baseline）模型，還提供了當今前沿的影片理解演算法復現。其演算法不單單囊括影片影片（video classification），同時也包括行為檢測（Action Classification）演算法。

與當今開源社區中各種影片識別庫復現出參差不齊的性能相比，使用 PySlowFast 可輕而易舉地復現出當今前沿的模型。

影片識別（Kinetics）

表 1：PySlowFast 在影片分類資料庫 Kinetics 400 上的性能)（節選自 https://github.com/facebookresearch/SlowFast/blob/master/MODEL_ZOO.md）

PySlowFast 不單單可以用於影片分類，同時也可用於影片理解，並提供贏得了 2019 年 CVPR ActivityNet Challenge Winner 的影片檢測模型。

行為檢測（AVA）

此外，PySlowFast 預留了介面，可通過簡單的編輯支援多模態影片理解、影片自監督學習等等任務。該團隊稱，PySlowFast 將被積極維護，實時更新其團隊和業界的前沿演算法，同開源其預訓練模型，使程式碼庫成為影片理解領域的基準線標杆。

通過以下教程，讀者們可以簡單試用下 PySlowFast 程式碼庫。在完成安裝後，通過下載 MODEL_ZOO 提供的預訓練模型和相應的配置文件，運行如下程式碼，就可以測試（Test）模型在不同影片資料庫上的性能：

python tools/run_net.py     --cfg configs/Kinetics/C2D_8x8_R50.yaml     DATA.PATH_TO_DATA_DIR path_to_your_dataset     NUM_GPUS 2

我們可以發現，通過此程式碼庫可以輕易復現出前沿的高性能模型，同時讀者們也可以嘗試通過簡單的修改來實現自己的模型，並用多台 GPU 進行訓練得到前沿的性能。

本文為機器之心發布，轉載請聯繫本公眾號獲得授權。

✄————————————————

加入機器之心（全職記者 / 實習生）：[email protected]

投稿或尋求報道：[email protected]

廣告 & 商務合作：[email protected]