使用普通攝像頭，輕鬆實現精準動作捕捉能力

• 2021 年 12 月 17 日
• 筆記

近幾年，關於動作捕捉能力的實際應用場景越來越多，比如科幻電影里特效製作，虛擬遊戲人物的製作等，這些大多採用了傳統的動作捕捉方案。

傳統的動作捕捉通常有兩種解決方法：光學捕捉和慣性捕捉。

光學動作捕捉需要在人體的關鍵點部位粘貼反射標誌，通過多個紅外攝像頭從不同角度追蹤人體身上的光標位置，具有精度高、時延低的優勢，缺點是對場地有嚴格要求，設備穿戴繁瑣，價格也十分昂貴。慣性動捕系統是通過陀螺儀、加速度計等慣性傳感器來捕獲人體關鍵骨骼的旋轉信息，相比光學式動捕穿戴方便，但精度較低，易受地磁干擾。

無論是光學式還是慣性式動捕系統，都需要穿戴專業的動捕設備，同時成本很高。而華為3D建模服務（3D Modeling Kit）最新推出的動作捕捉能力，僅需要RGB攝像頭就可以捕獲人體關鍵點的旋轉信息，讓每個人都可以通過手機來實現動作捕捉。

技術支持

那麼，脫離了輔助設備，華為是採用了哪些技術來實現低門檻高精準的動作捕捉能力的呢？

人體檢測技術

進行動作捕捉前需要從圖像中定位出人體的位置。人體檢測技術可以回歸出包含人體的邊界框，根據邊界框切割出對應的區域可以去除冗餘的背景，方便後續的姿態估計。

3D人體姿態估計技術

動作捕捉能力最關鍵的一環，是基於深度學習的單目姿態估計算法可以從RGB圖像中估計出人體關鍵點的3D位置和骨骼的旋轉信息，從而可以應用到廣泛的實際場景中。

模型加速與壓縮技術

動捕算法最終要部署在端側，由於存儲空間和功耗的限制，對於模型的時延和大小要求都非常嚴格。一方面，需要針對移動設備的CPU設計合適的輕量化網絡結構。另一方面對於訓練好的float32模型進行參數量化，轉化為int8模型，並針對部分算子進行優化，壓縮模型大小的同時顯著提高推理速度。

應用場景

動作捕捉能力最廣泛也最直接的應用是用來驅動虛擬形象，在虛擬直播、遊戲和電影製作等場景都有着不少需求。例如在遊戲中，利用動作捕捉能力，用戶上傳一段視頻即可捕捉其中的人物動作，產生對應的數據來驅動遊戲中的人物。

另外在短視頻領域，動作捕捉能力也大有可為。基於模型的動捕算法可以輸出人體網格，在此基礎上可以添加各種特效。

除此之外，動作捕捉能力還有更多待開發的應用場景和無限的使用價值，華為動作捕捉能力極大降低了各行業的開發使用門檻。

了解更多詳情>>

訪問華為開發者聯盟官網
獲取開發指導文檔
華為移動服務開源倉庫地址：GitHub、Gitee

關注我們，第一時間了解 HMS Core 最新技術資訊~