人形AI捉迷藏驚煞網友：飛檐走壁純靠自學，表情豐富還會合作，姚班學霸吳翼參與

• 2019 年 10 月 6 日
• 筆記

藍色小人努力隱藏，而紅色小人在複雜的地形中苦苦尋找，這場不是你死就是我活的對抗，不是CG動畫，而是：

OpenAI的智慧體真的在玩捉迷藏。

這是一項正經的研究，目的在於讓AI自己學會合作和對抗。而事先連遊戲規則都不給，全靠AI自己去探索。

由於展示效果看起來優秀得一塌糊塗，網友甚至開始懷疑OpenAI的身份了。

有推特網友表示：

實際上，OpenAI是一家動畫公司。

還有網友表示驚嘆：

哦買嘎，這製作品質、背景環境、甚至智慧體的面部表情等都很可愛。這到底是篇科學論文，還是迪士尼里的未來世界主題公園裡開闢了一處AI新景點？

這項已經開源的大型AI捉迷藏博弈研究中，場景炫酷，每一個智慧體都有自己的想法：

團隊之間相互協作，與外部進行聯合對抗……

這些智慧體是不是都有生命了？

AI怎麼玩捉迷藏遊戲？

在這個捉迷藏遊戲中，小紅人是「鬼」，自帶小雷達，能滿場瘋狂追擊。

△紅鬼還能推開箱子

而小藍人的任務很簡單，就是跑。

比起自帶感測器的鬼們，他們的技能是利用箱子這樣的物體製造障礙，還能將之鎖定。

起初，AI們完全不知道自己能做什麼，只是出於「本能」逃跑、追逐。

但在2500萬次遊戲之後，小藍人學會了通過移動箱子，建造庇護所，來保護自己不被發現。

魔高一尺道高一丈。又經過了7500萬場比賽，紅鬼們會利用坡道闖進庇護所了！

又吃了1000萬次虧之後，小藍人們再建庇護所，知道把坡道也順走了。

更厲害的是，AI們不只會單兵作戰，還學會了團隊協作。

看看小藍人這個協作水平，那真是行雲流水，無縫銜接，還很講究策略：

什麼，你覺得地形太簡單？在將近5億次訓練之後，AI們解鎖了更複雜的版本：

這群AI，可真是太秀了。

捉迷藏の奧義

再強調一次，以上不是CG，不是CG，不是CG。

這是來自OpenAI的一項新研究。通過多智慧體競爭，和捉迷藏這樣一個簡單的目標，以及標準的強化學習演算法，研究人員們發現，在沒有事先學習規則的情況下，AI們自己創造了一個自我監督的自動課程（autocurricula）。

這其中，既包含多輪不同的緊急策略，也包括複雜的工具使用和團隊協調。

所謂課程（curricula），可以被視為一系列挑戰。而自動課程（autocurricula）就是指，每個挑戰都是由系統本身產生的。（這一概念由DeepMind提出，論文地址見文末）

△AI們在訓練過程中發現了多達六種獨特的策略

並且，環境變複雜，AI們的表現反而更加強大。與其他自我監督的強化學習方法相比，這群AI的行為更像人類。

OpenAI稱之為無目標探索。

AI們事先並沒有學過捉迷藏的遊戲規則，而是憑藉對遊戲世界的理解自由發展。

為了實現這一點，研究人員利用了以實體為中心的觀察（observation），並採用注意力機制來捕獲對象層資訊。

在設定的環境中，每個智慧體都根據自身的觀察和隱藏記憶體狀態獨立行動。

每個物體都會被嵌入，並通過一個有遮擋的剩餘自注意塊（residual self attention block），在這其中，注意力集中在物體上，而不是隨著時間改變。

那些就在智慧體面前，但並不在其視線之內的物體則會被屏蔽掉，這樣智慧體就捕捉不到它們的資訊了。

智慧體的策略是通過左右互搏（self-play）和近端策略優化訓練出來的。在優化期間，智慧體可以在其值函數中使用有關被遮擋物體和其他智慧體的特權資訊。

此外，大規模訓練效果顯著。增加批量大小可以大大加快收斂速度，並且不會對樣本效率產生太大的影響。

這樣訓練出來的AI，到底魯棒不魯棒呢？

光說不練假把式，不如來一套智力測試練練手。

OpenAI的研究人員設計了一套涵蓋五個基準智力測試的考題，主要分為兩個領域：認知和記憶。

• 物體計數任務：測試智慧體是否對物體具有持久的感知（即，能理解即使無法察覺，事物仍然存在這一點）。
• 鎖定和返回：測試智慧體是否可以在執行新任務時記住其原始位置。
• 順序鎖定任務：4個箱子被按指定順序放置在3個沒有門的隨機房間中，但每個房間都有一個坡道。智慧體必須在沒有進行過觀察的前提下，按照特定順序鎖定所有的箱子。
• 藍圖構建任務：智慧體必須把房間中的箱子放到指定的四個目標位置。
• 避難所建設任務：智慧體必須在圓筒周圍用箱子造一個避難所。

結果表明，在鎖定和返回，順序鎖定和藍圖構建這三個任務當中，在捉迷藏環境中預訓練過的AI，表現優於基準線方法。但在對象技術和住房建設方面表現得要差一些。

△藍線為在捉迷藏環境中預訓練過的AI

不限於遊戲場景

這項研究引發了大量網友圍觀，不到一天時間，推特已經超過2000贊。

一位軟體工程師感慨，這項研究直戳智慧體對齊問題（Alignment Problem）的難點，即使是在捉迷藏這種簡答的任務中，AI可能也有讓人意想不到的行為。

HackerNews上網友表示，更酷的是這項研究此後可用於真實世界的機器人，讓他們學習去克服挑戰。

OpenAI自己也站出來直言，這項研究帶動了四個方向的研究。

一是證明了在智慧體決策中，多智慧體自動課程是導致很多不同和混合相轉移的原因之一。

二是驗證了，當模擬真實物理環境中引導智慧體行為時，多智慧體自動課程可訓練出類似人類的技能，比如藉助工具達到目的。

三是，這項研究還提出了一個在開放環境中評價智慧體的框架，以及一套有針對性的智慧體智力測試。這對於之後的智慧體研究有一定參考意義。

最後，這項研究還將環境與構建環境的程式碼進行了開源，將鼓勵對基於物理環境的多智慧體自動課程的進一步研究。

簡單的規則、多智慧體競爭以及標準的大規模強化學習演算法，原來可以激勵智慧體在無監督方法下學習複雜的策略和技能。

而往前看看，研究的意義又不僅限於理論研究階段，或局限於遊戲場景，而是會覆蓋到日常生活的方方面面。

外媒VentureBeat在報道時，引用了DeepMind哈薩比斯對遊戲AI的看法：

遊戲AI是通往通用AI的墊腳石。我們研究這些遊戲的真正原因是，它是研發演算法的一個非常方便的試驗場。 我們正在開發一種演算法，可以將其轉化到現實世界中來，用於解決真正具有挑戰性的問題，並幫助這些領域的專家。

無論是DeepMind還是OpenAI，在用遊戲的方式訓練出可以在真實場景里應用的技術，又何嘗不是創造了一個小小世界呢。