只需1/500數據便可掌握Atari遊戲！清華叉院助理教授提出小數據RL模型，引爆AI社區

• 2021 年 11 月 9 日
• AI

近日，一項研究在學術界引起了廣泛的關注和熱議。有消息稱，Deep Mind和Google已經在內部關門開會討論了。粉絲眾多的科技向youtube博主Yannic kicher甚至專門做了半個小時的視頻來講解這篇論文。學者們更是用「completely game- changing」、「major development in RL」、「this is impressive」來形它。其團隊老師本人也在推特上表示：在使用相同數據的情況下，這是RL智能體第一次直接從像素中獲得了超越人類的性能！這會讓通用強化學習更接近真實世界的場景，比如機械人的採樣效率會是關注重點。

現在，就讓我們隆重的介紹下本文的主角—— EfficientZero。

EfficientZero算法是在清華大學交叉信息研究院高陽團隊的新研究《使用有限數據掌控Atari遊戲》（ Mastering Atari Games with Limited Data）中提出的。EfficientZero的性能接近DQN（Deep Q-Learning）在 2 億幀時的性能，但消耗的數據卻減少了500 倍！它能夠在貼近現實複雜情況的Atari（雅達利）遊戲中，從零訓練並只需兩個小時，就可達到同等條件下人類平均水平的190.4%，或116.0%的中值性能。

論文鏈接：//arxiv.org/abs/2111.00210#

樣本效率一直是強化學習中最「令人頭疼」的挑戰，重要的方法需要數百萬(甚至數十億)環境步驟來訓練。一種從MuZero模型改進而來的高效視覺RL算法—— EfficientZero，該模型從零開始訓練，最終在Atari中僅用兩個小時的訓練數據上就超過了經過相同條件下的的人類平均水平。

MuZero是通過將基於樹的搜索與經過學習的模型相結合，可以在一系列具有挑戰性和視覺複雜的領域中，無需了解基本的動態變化即可實現出色性能。AI科技評論在以往的文章中對MuZero有過報道：DeepMind又出大招！新算法MuZero登頂Nature，AI離人類規劃又近了一步。那為什麼會選擇Atari遊戲呢？Atari 遊戲場景繁多，規則各異，一定程度上貼合現實複雜環境，因此長期被當作驗證強化學習算法在多因素環境下的性能測試標準。EfficientZero的低樣本複雜度和高性能可以使強化學習更接近現實世界的適用性。

如圖所示，EfficientZero在人類平均標準得分中位數上分別比之前的SoTA性能出色170%和180%。是第一個在Atari 100k基準上優於人類平均性能的算法。

強化學習在挑戰性的問題上取得了巨大的成功。如2015年DeepMind研發的DQN網絡 、擊敗了中國圍棋世界冠軍柯潔的AlphaGo、和會在Dota2中打團戰的OpenAI Five等等。但這些都是站在巨大數據量的「肩膀上」訓練出來的策略。像AlphaZero從國際象棋小白到頂尖高手需要完成2100萬場比賽，一個職業棋手每天大約只能完成5場比賽，這意味着人類棋手要11500年才能擁有相同的經驗值。

在模擬和遊戲中應用RL算法，樣本複雜性不成阻礙。當涉及到現實生活中的問題時，例如機械人操作、醫療保健和廣告推薦系統，在保持低樣本複雜性的同時實現高性能是能否可行的至關鑰匙。

過去幾年，我們在樣本高效強化學習上已有許多成績。來自真實環境的數據和來自模型的「想像數據」都可以訓練策略。但大多數成功都是在基於狀態的環境中。比如在基於圖像的環境中，魚和熊掌不可兼的情況比比皆是，MuZero和 Dreamer V2展示了超越人類的表現，但樣本效率不高；SimPLe等其他方法非常有效，但性能較差。最近，在數據高效機制中，中數據增強和自監督方法應用無模型方法取得一定成功。然而，卻依然達不到人類預期的水準。

為了提高樣本效率並保持優越的性能，自監督環境模型、減輕模型複合誤差的機制和糾正非策略問題的方法這三點對基於模型的視覺RL智能體至關重要。EfficientZero在MuZero的基礎上，對這三點進行了改進：「利用時序預測一致性 (temporal contrastive consistency)，減少預測回報的不確定性 (aleatory uncertainty) 以及糾正離線策略價值的偏移 (off-policy correction)。」

在對DeepMind Control (DMControl)套件的模擬機械人環境進行的實驗中，EfficientZero實現了最先進的性能，優於直接從真實狀態中學習的模型state SAC，這進一步驗證了EfficientZero的有效性。被有限數據「扼住」深度強化學習算法「喉嚨」的時代也許不會再有了。

高陽：博士，清華大學交叉信息研究院助理教授。博士畢業於美國加州大學伯克利分校，本科畢業於清華大學計算機系。主要研究計算機視覺與機械人學。

雷鋒網雷鋒網