?很多人都知道，當年打敗李世石、柯潔等一眾國際頂尖棋手的AlphaGo一共迭代了三個版本，分別是戰勝李世石的一代目AlphaGo Lee、戰勝柯潔的二代目AlphaGo Master，以及吊打前兩代的三代目AlphaGo Zero。

AlphaGo的棋藝能夠逐代遞增，背后其實是在AI技術上一個出現了明顯的變化趨勢，就是強化學習的比重越來越大。

到了近幾年，強化學習又發生了一次「進化」，人們把「進化」后的強化學習，稱為深度強化學習。

但深度強化學習代理的樣本效率低下，這極大地限制了它們在實際問題中的應用。

最近，許多基于模型的方法被設計來解決這個問題，在世界模型的想象中學習是最突出的方法之一。

然而，雖然與模擬環境幾乎無限的交互聽起來很吸引人，但世界模型必須在很長一段時間內保持準確。

受Transformer在序列建模任務中的成功啟發，康奈爾大學的文森特·米凱利、埃洛伊·阿隆索、弗朗索瓦·弗勒雷介紹了IRIS，這是一種數據高效代理，它在由離散自編碼器和自回歸Transformer組成的世界模型中學習。

在Atari 100k基準測試中，在僅相當于兩個小時的游戲時間里，IRIS的平均人類標準化得分為1.046，并且在26場比賽中的10場比賽中表現優于人類。

此前，LeCun曾說，強化學習會走進死胡同。

現在看來，康奈爾大學的文森特·米凱利、埃洛伊·阿隆索、弗朗索瓦·弗勒雷等人，正在將世界模型與強化學習（更準確地說是深度強化學習）融為一體，而連接兩者的橋梁，便是Transformers。

深度強化學習有什么不一樣

一提到人工智能技術，很多人能想到的，還是深度學習上。

其實，雖然深度學習還活躍在AI領域，但已經暴露出很多問題。

現在深度學習用得最多的就是有監督學習。有監督學習不妨理解成“有參考答案的學習”，它有一個特點，就是數據必須經過標識才能用于訓練。但現在海量的數據是未標識數據，且標識成本很高。

以至于針對這種局面，有人調侃道「有多少人工，就有多少智能」。

很多研究人員，甚至包括有不少的大牛都在反思，琢磨深度學習是不是“錯了”。

于是，強化學習開始崛起了。

強化學習和有監督學習、無監督學習都不太一樣，它是用智能體不斷地試錯，并按試錯結果獎懲AI。這是DeepMind家做各種棋牌AI、游戲AI的路數。這種路徑的信徒認為，只要獎勵激勵設定對頭，強化學習終將造出真正AGI。

但強化學習也有問題，用LeCun的話說，就是「強化學習要用巨量數據才能訓練模型執行最簡單任務」。

于是強化學習與深度學習進行了結合，成為深度強化學習。

深度強化學習，強化學習是骨架，深度學習是靈魂，這是什么意思呢？深度強化學習的主要運行機制，其實與強化學習是基本一致的，只不過使用了深度神經網絡來完成這一過程。

更有甚者，有的深度強化學習算法，干脆直接在現成的強化學習算法上，通過添加深度神經網絡來實現一套新的深度強化學習算法，非常有名的深度強化學習算法DQN就是典型的例子。

Transformers有什么神奇之處

Transformers首次亮相于2017年，是Google的論文《Attention is All You Need》中提出的。

在 Transformer出現之前，人工智能在語言任務上的進展一直落后于其他領域的發展。「在過去10年發生的這場深度學習革命中，自然語言處理在某種程度上是后來者，」馬薩諸塞大學洛厄爾分校的計算機科學家Anna Rumshisky 說，「從某種意義上說，NLP曾落后于計算機視覺，而Transformer改變了這一點。」

近年來，Transformer機器學習模型已經成為深度學習和深度神經網絡技術進步的主要亮點之一。它主要用于自然語言處理中的高級應用。谷歌正在使用它來增強其搜索引擎結果。

Transformer很快成為專注于分析和預測文本的單詞識別等應用程序的引領者。它引發了一波工具浪潮，比如OpenAI的GPT-3可以在數千億個單詞上進行訓練并生成連貫的新文本。

目前，Transformer架構不斷發展并擴展到多種不同的變體，從語言任務擴展到其他領域。比如，Transformer已被用于時間序列預測，同時也是DeepMind的蛋白質結構預測模型 AlphaFold背后的關鍵創新。

Transformer最近也進入了計算機視覺領域，在許多復雜任務中它們正在慢慢取代卷積神經網絡(CNN)。

世界模型與Transformers聯手，其他人怎么看

對于康奈爾大學的研究成果，有外國網友評論道：「請注意，這兩個小時是來自環境的鏡頭長度，在GPU上進行訓練需要一周的時間」。

還有人質疑：所以這個系統在一個特別精確的潛在世界模型上學習？該模型不需要預先訓練嗎？

另外，有人覺得，康奈爾大學的文森特·米凱利等人的成果并沒有破天荒的突破：「似乎他們只是訓練了世界模型，vqvae和演員評論家，所有這些都來自那2個小時的經驗（和大約600個紀元）的重播緩沖區」。

參考資料：https://www.reddit.com/r/MachineLearning/comments/x4e4jx/r_transformers_are_sample_efficient_world_models/?