手勢交互+多人協作，Nreal積極布局MR內容生態

• 2020 年 3 月 10 日
• 筆記

眼動追蹤和手勢識別兩大輸入方式的疊加

或許會讓Nreal一步步接近MR的終極形態

文 | 繆健

（VRPinea2020年3月7日電）2020年初，Nreal在CES上發布了混合現實（MR）環境下的3D作業系統——星雲。在近日，Nreal宣布將加入手勢識別功能，並提供多方協同作業的設計軟體，以此更好的完善內容生態體系。同時，Nreal正同韓國LG U+和德國電信等運營商深入合作，進一步拓展在海外MR領域的市場份額。

星雲系統之上再融合30種手勢

讓你足夠自然地操作模型

電子產品的輸入方式，經過PC電腦時代的鍵鼠輸入，到智慧手機時代，已經被觸摸手勢所代替。而在XR領域中，手勢識別的輸入方式，被認為是最自然的輸入和交互方式。在以往的類似產品中，VR往往需要加入專門配備的追蹤手套，AR/MR則需要加入專用的手勢識別模組和感測器才能實現實時高精度的手勢追蹤。

如今，隨著電腦視覺技術的迭代，利用普通攝影機的Slam演算法來計算手勢操作，成為未來一代XR產品手勢識別的關鍵技術。Nreal目前在不增加額外硬體模組的基礎上，與海外手勢交互應用公司Clay AIR合作，將其手勢應用引入到Nreal Light上來。

Clay AIR在2018年曾經與高通合作，為旗下OEM產品提供關鍵交互技術。這也是目前XR頭顯領域中，為數不多的提供標準化手勢識別的公司。據了解，通過Clay的軟體演算法，已經可以識別包括拿、捏、抓、輕掃等超過30種用戶的手勢動作，從而操縱虛擬物體，與MR環境進行更加直觀的交互。

Nreal Light通過前部攝影機將手部動作分為多個追蹤節點，並將手部模型疊加在這些追蹤節點之上，通過高通驍龍855及以上晶片實現高速的圖形渲染，從而實現用戶的手勢操作。同時，在此前Nreal Light已經實現用智慧手機作為控制器，或者專門的6Dof控制器進行MR環境的交互操作。Nreal認為，提供不同的交互方式讓開發者和用戶進行選擇，才是一個更成熟的硬體開發企業的職責。

據了解，手勢識別功能將在近期通過Nreal SDK提供給開發者，並可以將該功能應用在支援Nreal 3D系統星雲的Android應用程式中。通過Nreal SDK，開發人員可以進行手勢追蹤的自定義，包括重塑或渲染全手、單獨的手指、邊界框、游標或自定義外觀，前期完全支援的手勢包括捏、指向、抓取、滑動和縮放。

Nreal此前宣布在全球範圍擁有超過3500個內容開發者，並與全球多家通訊運營商達成合作，包括了日本KDDI、韓國LG U+、德國電信Deutsche Telekom、瑞士電信Swisscom、英國EE等。在韓國，Nreal通過在LG U+的零售店展示，在韓國進行Nreal Light設備的舉措將MR帶入了韓國消費者的生活。

Nreal在2019年推出消費者版本的Nreal Light後，積極布局開發者生態和海外銷售體系。作為中國為數不多在國際市場有所影響力的MR廠商，Nreal正逐步完善內容體系和挖掘MR在各領域的潛力。

在此前的消息中，Nreal和中國尖端的眼動追蹤品牌七鑫易維已達成合作，將於今年推出帶有眼動追蹤模組的MR眼鏡，眼動追蹤和手勢識別兩大輸入方式的疊加，或許會讓Nreal一步步接近MR的終極形態。

重構多人協作

帶上眼鏡隨時操作3D模型

MR眼鏡除了娛樂領域，工業、設計領域的應用日益凸顯。精密機械、高精動畫模型、建築模型通過MR環境進行設計、定型、維修，已經在部分世界知名企業應用到生產領域。然而，絕大多數MR環境中的3D模型，需要工程師不但具備建模能力，還需要針對MR眼鏡進行軟體技術環境的開發。這也是MR+工業領域的一大痛點。同時，多數MR設計軟體不具備多台硬體的協同工作，這也導致了MR在工業領域的應用場景雖然廣闊，但真正落地有著高成本、高難度、低頻次的特點。

Nreal針對這一特點，近日與微軟Hololens的MRPP平台的重要合作夥伴DataMesh達成合作（編者按：MRPP為微軟Hololens的行業解決方案認證）。將於近期推出基於Nreal Light的行業解決方案DataMesh Director。

該產品定位於簡單易用型的XR內容工具。支援多種CAD文件格式導入，並可對3D數字模型進行數據修復、格式轉換以及輕量化等處理。並且兼具雲端資源管理和傻瓜式編輯操作等特性。旨在幫助相關企業助企業員工打破人與人、人與機器的資訊交流阻礙，降低工業設計領域的協作成本。尤其值得一提的是，該產品打通了多台硬體的同時接入協作。

影像遠程會診平台正式上線

Nreal Light星雲平台

近期，黑龍江省影像遠程會診平台也正式在Nreal Light星雲平台上線，通過該平台，一線醫生可佩戴Nreal實現遠程全息閱片及問診交流，緩解了基層醫院影像閱片壓力，加強了對一線閱片醫生的防護。據悉，該解決方案將在黑龍江省哈爾濱醫科大學附屬第一醫院落地應用。

VRPinea相信在不久的將來，隨著5G網路的到達，Nreal能夠在MR市場中佔據重要的一席之地。

本文屬VRPinea原創稿件，轉載請洽：[email protected]