一個普通攝影機就讓二次元老婆「活」過來 網友：求收費
你敢信，這年頭只靠一個普通攝影機，就能讓二次元老婆實時完成如此靈活的手指舞？
沒錯，不用穿戴硬體設備，打開電腦攝影機，AI就能讓二次元老婆隨你實時舞動。
即使沒有昂貴感測器加持，搖花手這種高難度動作，照樣能輕鬆拿下。
真人手指再怎麼複雜地開合變化，螢幕里的Ta都能完美同步：
雙臂前後交替變換都不會識別錯誤：
這還不算完，更讓網友們直呼「離譜」的是，這樣的影片動作捕捉AI，只要你有一台電腦+一個RBG攝影機，就能直接抱回家。
不用學編程，也不用多花錢，技術直接就是一個免費可商用。
這給網友整得都不敢相信了，趕忙自己上手試了試，結果——
確定是可以擺花手的靈活程度。
這個手摳鼻屎也看得很清楚啊！
好傢夥，這豈不是人人都能訂製專屬3D虛擬主播了？究竟是怎麼一回事？
上百個識別位點的3D動捕
正如前面提到的，這是真真正正的影片動捕。
像《阿凡達》《指環王》等電影中的許多特效、角色動作設計，都是由動作捕捉來實現。
不過，傳統的光學動作捕捉和慣性動作捕捉，都需要通過感測器來記錄演員的動作。
因此在片場，需要動捕的演員身上往往佩戴很多設備，大概長這樣：
而在開頭我們看到，二次元老婆背後的真人主播，身上卻無需佩戴任何設備。
那它是如何來捕捉動作的呢？
通過AI。
與以往需要昂貴感測器支援的光學動捕、慣性動捕不同，近幾年興起的影片動捕主要用到了電腦視覺技術。
它只使用普通的RGB攝影機通過卷積神經網路（CNN）來識別影像中人體的骨骼關鍵點。
其中，特徵提取器會通過解析度由高到低的過程來提取高級特徵，姿勢解碼器則可以基於檢測或回歸的方式來估計目標輸出、2D/3D關鍵點位置或3D網路。
基於檢測的方法可以生成特徵圖或熱力圖，基於回歸的方法則可以直接輸出坐標位置。
此前劍橋大學開發的人體姿態工具PoseNet就是一個很經典的案例。
它使用端到端學習框架，可以從RGB影像中直接映射出人體的關鍵骨骼坐標，檢測全身17個位點，最終捕捉到人體動作。
如上虛擬主播用到的動捕技術，也是類似於此的神經網路。
特別的是，這套名叫小K直播姬的影片動作捕捉技術，識別位點遠超17個，僅上半身就有100多個，覆蓋了面部、手部和雙臂。
這也是「老婆們」能夠活靈活現的關鍵所在。
要知道，此前許多vTuber直播時，都只有脖子以上可以活動，上半身像是被封印了一般。
而當動捕技術能夠捕捉的身體位點越多，可以呈現的效果也就越豐富。
比如藉助小K直播姬，vTuber就可以隨意扭動身體、擺出各種動作，面部表情也多了很多細節。
而最令人驚嘆的手部動作的實現，則有賴於深度資訊的引入。之前的卷積神經網路（CNN）學習的關節點只有2D資訊，無法使用到3D虛擬形象上，但是小K直播姬自研的AI演算法能捕捉3D資訊並應用的3D虛擬直播里。
比如「石頭」握拳這個動作，在普通攝影機「眼中」，手部位點會出現遮擋、重疊，這時只用2D關鍵點識別是很難還原真實動作的。
具體而言，小K直播姬的解決方案，是根據攝影機捕捉到的2D影像，來估計每個關節點到鏡頭之間的距離。
掌握了3D深度資訊後，即便攝影機只能拍到手部側面，想要還原動作也不成問題。
尤其是雙臂前後交換這種動作，2D識別很可能無法識別前後的差別，但是3D識別就能讓畫面呈現明顯的立體感。
目前，這種技術已經能做到每秒輸出30幀畫面。
其實它還能開放到每秒60幀，只是考慮到vTuber一般在直播時還需要開啟其他軟體，主播的電腦可能會承受不住，所以當下推薦大家開30幀。
看到這裡，是不是已經被驚艷到了？
然鵝，這還不是最厲害的。
其實，不只是上半身的動作捕捉，全身動捕現在都能僅靠攝影機完成。
沒錯，仍舊不需要佩戴任何穿戴設備，只需多個普通的RGB攝影機，就能將真人的全身動作完全還原。
人人都可試玩的那種
效果絲滑自然、只需一台電腦+普通攝影機，還是免 費 的……這確實讓人看了很難不心動。
也難怪小K直播姬一登場，惹得網友們直呼：
趕緊收錢，求求了。
要知道，傳統的光學動捕、慣性動捕，由於對感測器設備、專業攝影棚等方面的需求，成本始終居高不下。
以今年火出圈的A-SOUL為例，它由字節跳動和樂華聯合推出，傳聞稱其所使用的動捕設備成本高達8位數。
而小K直播姬這個免費產品，直接實現了「人人皆可vTuber」。
這不，在小K直播姬公測後，不少人都來一探究竟，公測10日後虛擬主播註冊數就已經破萬。
在這裡不僅可以自己捏人，還能導入模型，B站上許多人都曬出了自己的vTuber形象。
知名VUP小希小桃最近大變身，也是因為用了小K直播姬。
會出現一石激起千層浪的現象倒也不稀奇，畢竟市面上這種將影片動捕技術商業化、還面向vTuber的產品，實在是太少了。
團隊出身遊戲行業
那為什麼會是小K直播姬呢？
這個答案要從它的幕後打造者——雲舶科技身上找答案。
2017年，出身遊戲行業的梅嵩和陳敏聯合創立了雲舶科技。
其中，梅嵩是原藍港互動SVP，《王者之劍》系列手游製作人；陳敏是原藍港互動CTO，核心團隊有著16年的研發經驗。
憑藉自身對遊戲動畫市場的了解，他們從創業初期就專註於影片動捕技術。
事實上，小K直播姬所採用的所有影片動捕技術，都是由雲舶科技自主研發。
起初，他們利用動捕技術將影片直接生成bip、fbx動畫文件，大幅提升動畫師的作畫效率。
後來隨著自身技術的不斷積累，在2019年，他們便想著將原本離線才能實現的影片動捕技術，升級為實時在線版。
因為出身遊戲圈，對二次元市場有著敏感的嗅覺，雲舶在2018年就察覺到了虛擬偶像市場在逐漸升溫。
所以便將技術落地場景選在了這一領域。
而小K直播姬大受歡迎，除了本身的技術效果吸睛這一原因之外，也同樣得益於他們的遊戲行業產品背景，認為用戶交互體驗能提升甚至改變虛擬直播的最終價值。
同時雲舶科技對用戶也是抱有「有求必應」的態度，如果你想要捕捉雲舶科技的技術leader，到官方論壇、用戶QQ群里「釣魚」可能是個不錯的選擇（手動狗頭）。
現在，小K直播姬背後，從一執行緒序員到公司創始人，全都活躍在這些用戶聚集的地方，還常常追著用戶溝通交流，只為徹底弄清楚用戶對於產品的更多需求。
比如最近即將上線的模型飾品增加自定義調整位置，就是網友們多次向小K提議的功能。
食用指南
OK，說了這麼多，如果你也對虛擬直播感興趣，現在就可以下載試玩一波走起了~
目前，小K直播姬暫只支援Windows系統，1060及以上顯示卡可實現上半身動捕，其它顯示卡支援面部捕捉。
進入應用後可以自己捏臉訂製形象，也可以選擇導入模型。
如果你在體驗過程中有了好的idea，也不妨加個群水個論壇，小K直播姬背後的技術leader和一眾程式設計師們都在「虎視眈眈」。
說不定下一個上線功能，就是受你啟發的！
