盤點 | 電子遊戲中的神經技術與腦機介面應用
- 2020 年 8 月 28 日
- AI
字幕組雙語原文：盤點 | 電子遊戲中的神經技術與腦機介面應用
英語原文：Neural Tech and Brain Computer Interfaces (BCI) in Video Games: An Overview
最近，我參加了由 NeurotechX 舉辦的關於神經技術和BCI（Brain Computer Interfaces或BMI，腦機介面）在遊戲中的應用的虛擬會議。
我已經時不時地關注這個領域有一段時間了，因為BCI在我通向模擬點的路途中扮演了重要的角色，我在我的書《 The Simulation Hypothesis》中描述過。在這個理論點上，我們將能夠將模擬直接傳送到大腦中，並得到大腦的反應，就像電影《黑客帝國》中一樣。
這次討論讓我想起了我第一次真正認真地思考BCI的時候。那是在看80年代的電影 《Firefox》 時，克林特-伊斯特伍德（Clint Eastwood）飾演的間諜/飛行員的任務是從蘇聯偷取一架超級機密的飛機。這架噴氣機的特別之處在於，它可以對飛行員的心理指令做出反應；它的想法在於，如果你能切斷哪怕是一秒（或許是幾毫秒）的反應時間，那麼這架戰鬥機就會比北約的戰鬥機更有優勢，因為北約的戰鬥機仍然使用手持控制。當伊斯特伍德最終偷走噴氣式飛機時，有一個問題是，它不會對他的命令做出反應–除非他用以俄羅斯人的方式思考!
雖然我們還沒有達到黑客帝國或火狐級別的BCI，但一些有趣的公司的介紹有助於闡明該行業的現狀和方法。
我注意到的第一件事是，所有這些公司都在研究無創性的神經介面。這與埃隆-馬斯克（Elon Musk）資助的Neuralink公司形成鮮明對比，該公司正在創造一種晶片，可以通過在頭骨上鑽一個小孔植入大腦。這款備受推崇的晶片承諾具有神奇的特色功能–包括刺激大腦的興奮愉悅中心，並通過人工智慧提高人類的智力。不過首批版本將針對那些有腦部疾病的人。對我個人而言，我不知道有哪個玩家現在準備在自己的腦袋上鑽洞，但這種情況可能會在不久的將來發生改變!
圖1：在黑客帝國中，人類可以通過一個連接埠和線路進去虛擬(世界)
更為重要的是，與《黑客帝國》中與大腦完全雙向連接不同，這些公司大多專註於通過大腦（或生物回饋或肌肉）介面獲得玩家的輸入，不過其中一家公司也有意讓用戶接收到身體的訊號，以獲得更沉浸式的體驗。
在虛擬會議起其中兩個研討會上,神經遊戲技術領域的六個公司展出了非常有趣的東西:
維爾福(Valve) — 第一個展示是由麥克.阿賓得( Mike Abinder)展出, 麥克阿賓得是一個華盛頓大學的實驗心理學家, 他在維爾福集團致力於研究與腦機介面和遊戲相關的一些神秘的東西.關於腦機介面技術如何題提升遊戲體驗,他給出了一個基本的概述,雖然阿賓德對維爾福公司在這個領域中做的研究含糊其辭，但他確實提出了一些很好的論點，即可以收集玩家在玩遊戲時的經驗和情緒的實時數據，這可能會引發一個全新的適應性遊戲體驗.關於”我們可以測量的東西”他給出了一個概述 — 主要是不同排列的腦電訊號(EEG),他的專業技術術語就是我們可以檢測對於警戒,學習,記憶等不同任務的腦電訊號,我從中得到的基本想法是，當玩家在做不同的事情時，測量大腦發出的腦電圖訊號，比如競爭遊戲、策略遊戲等等，測量諸如「期望、喚醒和支配」之類的東西。
圖2: Brainattach的新型腦電(EEG)設備,這款設備被吹噓為生物生物遊戲軟體
Brainattach—第二個名為”在遊戲中引入生存本能”的討論來自於Brainattach的Maciej Rudzinski. 現在主要考慮硬體,Brainattach已經研製了一種專為遊戲玩家設計的個人腦電訊號設備,這種設備被稱為”生物遊戲軟體”, 基本上, 這是一種生物回饋裝置，可以通過「同步」你的情緒和心理狀態來提高你的遊戲表現。生物回饋已經以多種形式存在了一段時間了 — 考慮一下，如果你在呼吸時測量你的心率，看看它是如何變化的，那麼你基本上就是這樣做的。生物回饋。BrainAttach利用其臨床級設備的腦電圖訊號來實現這一點。類似於Valve他的演講沒有很多關於他的設備的內容，而是關於遊戲玩家和遊戲開發者使用腦電圖訊號和其他生物回饋來維持「流動狀態」的方式，這種狀態介於「沮挫敗感」和「無聊」之間，使遊戲變得有趣。他們的遊戲設備還沒有開放, 但是你可以註冊:www.brainattach.com.
圖3：完全沉浸式的觸覺Teslasuit提供了完全的沉浸感受
Teslasuit— 第一天最有趣的演講來自Teslasuit公司的Dmitri Mikhalchuk，這家公司從技術上講根本不是一個BCI—除非你把 “大腦 “這個詞換成 “身體”。 對於一個BBI來說。Teslasuit是一款完全沉浸式的觸覺服飾，與VR頭顯結合後，不僅會讓你沉浸在一個世界裡，還要通過刺激身體的不同部位讓你感受遊戲的樂趣。Teslasuit在2018年和2019年的CES上首次亮相併引起了轟動，它看起來更像是直接從《Ready Player One》中的出現的東西。它以這樣的方式進行工作，它向你身體的不同部位發出電脈衝，並使用和先進的動作捕捉系統和生物識別技術來查看你正在做什麼作為輸入。據我所知，它並沒有嚴格使用腦電圖或大腦介面，但這個地方似乎與生物識別回饋融合在一起。
除了全套衣服，他們還推出了高保真觸覺手套，讓你在虛擬現實中感受你所看到的物體，結合Luminas XR眼鏡，讓你獲得完全沉浸式的體驗。例如，該公司做的賽車演示，你不僅可以看到你移動時的道路，還可以感受到身體不同部位的g-forces。2019年，為了展示他們的潛質能力，他們演示了 “非接觸式擒抱 “或 “觸覺擒抱 “的演示，他們讓一名橄欖球運動員用動作捕捉在模擬擒抱另一名球員。雖然動作捕捉一般都是用來讓動畫更逼真，但他們真的很想知道在擒抱過程中，身體的哪些部位會與對手接觸。現在，任何穿上Teslasuit的人都可以體驗到被職業橄欖球運動員擒抱的感覺! 雖然具有創新性，但我想我還是算了，因為那些橄欖球運動員看起來很強壯! 但你可以看到可以打造的遊戲應用。這套衣服最初是在Kickstarter上眾籌，價格是幾千美元–在這裡閱讀更多關於它的資訊。
在第二場會議中，又有三家公司發表了演講，也更清楚地說明了行業現狀以及在更廣泛使用BCI方面所面臨的一些挑戰。
圖4：今天的遊戲輸入（控制器）vs 未來的遊戲輸入，大腦和生物統計，來自Flying Mollusk of Erin Reynolds。
Flying Mollusk–Flying mollusk的創始人兼CEO Erin Reynolds進行了演講，從遊戲開發者的角度介紹了公司的歷史以及BCI和生物回饋的現狀。她打造了一個基於生物回饋版本的遊戲作為她的一個學術項目，畢業後創辦了Flying Mollusk公司，並打造了Nevermind，在幾年後發布在steam上。最初是測量心率和其他生物回饋，並利用這些回饋來增加或減少玩家體驗到的 “壓力 “速度–這正是Valve公司的Mike Abinder所說的 “動態適應性”。之後，她還加入了情感情緒SDK，它可以幫助遊戲開發者利用AI技術檢測玩家的情緒。原來有一整個行業的公司都在使用面部識別技術來觀察用戶的臉部，並檢測他們是高興還是悲傷或憤怒，這被稱為情感API或情感計算。她並不清楚在她的遊戲中使用了多少實際的Brain介面，但她肯定提到腦電圖和大腦輸入是未來發展的一個領域。Erin還指出了BCI在遊戲中的一些障礙–即沒有足夠的感測器，以及需要更好的遊戲開發者工具。點擊這裡了解更多關於Flying Mollusk和他們的遊戲Nevermind的資訊。
圖5：BCI的硬體演進，來自Neurable的Adam Molnar
Neurable—下一個鏡頭是來自Neurable公司的Adam Molnar，這家公司曾有過令人印象深刻的演示，僅通過思想就能在VR中移動物體。Neurable是從密歇根大學的研究中發展起來的，是一家位於波士頓的公司，他們將神經介面帶入VR世界，改裝後的VR頭盔可以檢測腦電訊號。但這並不是他們使用的全部，他們還使用眼球追蹤資訊和其他資訊，不過重點是不同的腦電訊號處理。Adam概述了BCI用於遊戲的歷史，以及剩下的道路。這包括像 Mattel公司的星球大戰原力訓練器這樣的設備，它讓你感覺自己真的在使用原力。
圖6：Adam Molnar講述了BCI在遊戲中的歷史，包括《星球大戰》原力訓練器!
Adam和其他許多小組成員一樣，認為心智介面是遊戲介面的下一個可行的邏輯步驟，遊戲介面從打字命令到操縱桿/滑鼠，再到手勢和觸摸控制。Adam還概述了他們的歷史發展，從實驗室里的濕式感測器，到可以連接到VR的乾式感測器，再到未來將包括集成感測器。Adam指出BCI作為一個行業的危險之一是設定過高的期望值。當人們看到幾年前的Neurable演示時，很容易就認為BCI真的來了—當時還有很多工作要做。這種 “崇高的期望 “實際上可能是一個問題，因為現實情況很少與這些演示的炒作相匹配。換句話說，我們很容易認為我們已經達到了像火狐那樣的讀心術，但我們確實還沒有達到，整個BCI領域可以被貼上 “失去潛質能力 “和/或 “啞巴 “的標籤。Neurable的目標是 “永遠的BCI”–請看這裡。
圖7：Brink仿生學手套能感知動作，給遊戲玩家帶來優勢!
Brink Bionics–最後的演示就像把火狐做成了一個具體的用例和使它應用到非常具體的遊戲中，由Brink Bionics的Erik Lloyd做的。他們宣稱，在需要快速反應和手眼協調的遊戲中，比如第一人稱射擊遊戲和類似的動作遊戲，訊號從大腦到手再到滑鼠/鍵盤/操縱桿/輸入設備所需的幾毫秒時間，就能起到決定性作用。他們的技術可以裝在無指手套中，可以檢測到神經中的小電脈衝，導致肌肉抽搐，從而表明用戶決定在遊戲中執行什麼命令。不過，他們的產品不需要使用滑鼠，而是可以將肌肉輸入直接轉化為現有遊戲中的命令！這也許是最實用的產品。這也許是此次展出的產品中最實用的一種–雖然有新的硬體，但你不必對現有的遊戲進行重新編程，因為他們將肌肉訊號轉換為滑鼠或其他控制器的現有命令。在這裡了解更多資訊。
圖8：Erik Lloyd談BCI今天與未來的狀態
Erik還談到了神經技術在遊戲中的發展，並指出今天我們現在正處於第一階段–遊戲向用戶提供刺激，然後我們測量結果（或用戶的反應），然後將其映射到一些已知的反應。他稱之為 “依賴性 “BCI，而最終將出現 “獨立性 “BCI，它不需要向用戶呈現一個場景（就像VR一樣），但將允許機器直接接收我們的任何想法，我們可以使用這些想法來控制機器。
結論
Erik對 “依賴型 “和 “獨立型 “的BCI的區分，或許是結束當今行業現狀討論的好地方。你會注意到，我並不是在VR或AR中或通過BCI觀看會議，而只是在Youtube上觀看。
今天的BCI使用了生物回饋（心率、皮膚/壓力反應）、情感計算（基於面部識別的情感）、腦電訊號檢測（而且有很多關於解釋這些訊號的不同方法的研究）、眼球跟蹤（用於VR內部的意圖）、動作捕捉（用於teslasuit）和電脈衝模擬觸摸的組合。雖然行業現狀已經不再只是研究實驗室，但要想從你的頭腦中直接控制任何遊戲，還有很長的路要走。也許用不了多久，這些技術的影響就會超越遊戲–誰知道可能會有一個像火狐一樣的戰鬥機在路上呢!
Rizwan Virk畢業於麻省理工學院和斯坦福大學，是一位未來學家、企業家、風險投資家、影片遊戲先驅、獨立電影製作人和暢銷書作家。他的著作包括《模擬假說》：一個麻省理工學院的電腦科學家展示了為什麼人工智慧、量子物理學和東方神秘主義者一致認為我們在電子遊戲中，以及《你在商學院學不到的創業神話和模型》。他是Play Labs @ MIT的創始人，也是包括Griffin Gaming Partners在內的多家風險投資公司的風險合伙人。訪問他的網站：www.zenentrepreneur.com
雷鋒字幕組是一個由 AI 愛好者組成的翻譯團隊，匯聚五百多位志願者的力量，分享最新的海外AI資訊，交流關於人工智慧技術領域的行業變革與技術創新的見解。
團隊成員有大數據專家、演算法工程師、影像處理工程師、產品經理、產品運營、IT諮詢人、在校師生；志願者們來自IBM、AVL、Adobe、阿里、百度等知名企業，北大、清華、港大、中科院、南卡羅萊納大學、早稻田大學等海內外高校研究所。
如果，你也是位熱愛分享的AI愛好者。歡迎與雷鋒字幕組一起，學習新知，分享成長。
雷鋒網雷鋒網
