BAIR最新RL算法超越谷歌Dreamer，性能提升2.8倍
pixel-based RL 算法逆襲，BAIR 提出將對比學習與 RL 相結合的算法，其 sample-efficiency 匹敵 state-based RL。
此次研究的本質在于回答一個問題—使用圖像作為觀測值（pixel-based）的 RL 是否能夠和以坐標狀態(tài)作為觀測值的 RL 一樣有效？傳統(tǒng)意義上，大家普遍認為以圖像為觀測值的 RL 數(shù)據(jù)效率較低，通常需要一億個交互的 step 來解決 Atari 游戲那樣的基準測試任務。
研究人員介紹了 CURL：一種用于強化學習的無監(jiān)督對比表征。CURL 使用對比學習的方式從原始像素中提取高階特征，并在提取的特征之上執(zhí)行異策略控制。在 DeepMind Control Suite 和 Atari Games 中的復雜任務上，CURL 優(yōu)于以前的 pixel-based 的方法（包括 model-based 和 model-free），在 100K 交互步驟基準測試中，其性能分別提高了 2.8 倍以及 1.6 倍。在 DeepMind Control Suite 上，CURL 是第一個幾乎與基于狀態(tài)特征方法的 sample-efficiency 和性能所匹配的基于圖像的算法。
- 論文鏈接：https://arxiv.org/abs/2004.04136
- 網(wǎng)站：https://mishalaskin.github.io/curl/
- GitHub 鏈接：https://github.com/MishaLaskin/curl
背景介紹
CURL 是將對比學習與 RL 相結合的通用框架。理論上，可以在 CURL pipeline 中使用任一 RL 算法，無論是同策略還是異策略。對于連續(xù)控制基準而言（DM Control），研究團隊使用了較為熟知的 Soft Actor-Critic（SAC）(Haarnoja et al., 2018) ;而對于離散控制基準（Atari），研究團隊使用了 Rainbow DQN（Hessel et al., 2017)）。下面，我們簡要回顧一下 SAC，Rainbow DQN 以及對比學習。
Soft Actor Critic
SAC 是一種異策略 RL 算法，它優(yōu)化了隨機策略，以最大化預期的軌跡回報。像其他 SOTA 端到端的 RL 算法一樣，SAC 在從狀態(tài)觀察中解決任務時非常有效，但卻無法從像素中學習有效的策略。
Rainbow
最好將 Rainbow DQN（Hessel et al., 2017）總結為在原來應用 Nature DQN 之上的多項改進（Mnih et al., 2015）。具體來說，深度 Q 網(wǎng)絡（DQN）（Mnih et al., 2015）將異策略算法 Q-Learning 與卷積神經(jīng)網(wǎng)絡作為函數(shù)逼近器相結合，將原始像素映射到動作價值函數(shù)里。
除此之外，價值分布強化學習（Bellemare et al., 2017）提出了一種通過 C51 算法預測可能值函數(shù) bin 上的分布技術。Rainbow DQN 將上述所有技術組合在單一的異策略算法中，用以實現(xiàn) Atari 基準的最新 sample efficiency。此外，Rainbow 還使用了多步回報（Sutton et al.，1998）。
對比學習
CURL 的關鍵部分是使用對比無監(jiān)督學習來學習高維數(shù)據(jù)的豐富表示的能力。對比學習可以理解為可區(qū)分的字典查找任務。給定一個查詢 q、鍵 K= {k_0, k_1, . . . } 以及一個明確的 K（關于 q）P(K) = ({k+}, K {k+}) 分區(qū)，對比學習的目標是確保 q 與 k +的匹配程度比 K {k +} 中的任何的鍵都更大。在對比學習中，q，K，k +和 K {k +} 也分別稱為錨點（anchor），目標（targets），正樣本（positive）, 負樣本（negatives）。
CURL 具體實現(xiàn)
CURL 通過將訓練對比目標作為批更新時的輔助損失函數(shù)，在最小程度上改變基礎 RL 算法。在實驗中，研究者將 CURL 與兩個無模型 RL 算法一同訓練——SAC 用于 DMControl 實驗，Rainbow DQN 用于 Atari 實驗。
總體框架概述
CURL 使用的實例判別方法（instance discrimination）類似于 SimCLR、MoC 和 CPC。大多數(shù)深度強化學習框架采用一系列堆疊在一起的圖像作為輸入。因此，算法在多個堆疊的幀中進行實例判別，而不是單一的圖像實例。
研究者發(fā)現(xiàn)，使用類似于 MoCo 的動量編碼流程（momentum encoding）來處理目標，在 RL 中性能較好。最后，研究者使用一個類似于 CPC 中的雙線性內(nèi)積來處理 InfoNCE score 方程，研究者發(fā)現(xiàn)效果比 MoCo 和 SimCLR 中的單位范數(shù)向量積（unit norm vector products）要好。對比表征和 RL 算法一同進行訓練，同時從對比目標和 Q 函數(shù)中獲得梯度。總體框架如下圖所示。
圖 2：CURL 總體框架示意圖
判別目標
選擇關于一個錨點的正、負樣本是對比表征學習的其中一個關鍵組成部分。
不同于在同一張圖像上的 image-patches，判別變換后的圖像實例優(yōu)化帶有 InfoNCE 損失項的簡化實例判別目標函數(shù)，并需要最小化對結構的調(diào)整。在 RL 設定下，選擇更簡化判別目標的理由主要有如下兩點：
- 鑒于 RL 算法十分脆弱，復雜的判別目標可能導致 RL 目標不穩(wěn)定。
- RL 算法在動態(tài)生成的數(shù)據(jù)集上進行訓練，復雜的判別目標可能會顯著增加訓練所需時間。
因此，CURL 使用實例判別而不是 patch 判別。我們可將類似于 SimCLR 和 MoCo 這樣的對比實例判別設置，看做最大化一張圖像與其對應增廣版本之間的共同信息。
查詢-鍵值對的生成
類似于在圖像設定下的實例判別，錨點和正觀測值是來自同一幅圖像的兩個不同增廣值，而負觀測值則來源于其他圖像。CURL 主要依靠隨機裁切數(shù)據(jù)增廣方法，從原始渲染圖像中隨機裁切一個正方形的 patch。
研究者在批數(shù)據(jù)上使用隨機數(shù)據(jù)增廣，但在同一堆幀之間保持一致，以保留觀測值時間結構的信息。數(shù)據(jù)增廣流程如圖 3 所示。
圖 3: 使用隨機裁剪產(chǎn)生錨點與其正樣本過程的直觀展示。
相似度量
區(qū)分目標中的另一個決定因素是用于測量查詢鍵對之間的內(nèi)部乘積。CURL 采用雙線性內(nèi)積 sim(q，k)= q^TW_k，其中 W 是學習的參數(shù)矩陣。研究團隊發(fā)現(xiàn)這種相似性度量的性能優(yōu)于最近在計算機視覺（如 MoCo 和 SimCLR）中最新的對比學習方法中使用的標準化點積。
動量目標編碼
在 CURL 中使用對比學習的目標是訓練從高維像素中能映射到更多語義隱狀態(tài)的編碼器。InfoNCE 是一種無監(jiān)督的損失，它通過學習編碼器 f_q 和 f_k 將原始錨點（查詢）x_q 和目標（關鍵字）x_k 映射到潛在值 q = f_q(x_q) 和 k = f_k(x_k) 上，在此團隊應用相似點積。通常在錨點和目標映射之間共享相同的編碼器，即 f_q = f_k。
CURL 將幀-堆棧實例的識別與目標的動量編碼結合在一起，同時 RL 是在編碼器特征之上執(zhí)行的。
CURL 對比學習偽代碼（PyTorch 風格）
實驗
研究者評估（i）sample-efficiency，方法具體為測量表現(xiàn)最佳的基線需要多少個交互步驟才能與 100k 交互步驟的 CURL 性能相匹配，以及（ii）通過測量 CURL 取得的周期回報值與最佳表現(xiàn)基線的比例來對性能層面的 100k 步驟進行衡量。換句話說，當談到數(shù)據(jù)或 sample-efficiency 時，其實指的是（i），而當談起性能時則指的是（ii）。
DMControl
在 DMControl 實驗中的主要發(fā)現(xiàn)：
- CURL 是我們在每個 DMControl 環(huán)境上進行基準測試的 SOTA ImageBased RL 算法，用于根據(jù)現(xiàn)有的 Image-based 的基準進行采樣效率測試。在 DMControl100k 上，CURL 的性能比 Dreamer（Hafner 等人，2019）高 2.8 倍，這是一種領先的 model-based 的方法，并且數(shù)據(jù)效率高 9.9 倍。
- 從圖 7 所示的大多數(shù) 16 種 DMControl 環(huán)境中的狀態(tài)開始，僅靠像素操作的 CURL 幾乎可以進行匹配（有時甚至超過）SAC 的采樣效率。它是基于 model-based，model-free，有輔助任務或者是沒有輔助任務。
- 在 50 萬步之內(nèi)，CURL 解決了 16 個 DMControl 實驗中的大多數(shù)（收斂到接近 1000 的最佳分數(shù)）。它在短短 10 萬步的時間內(nèi)就具有與 SOTA 相似性能的競爭力，并且大大優(yōu)于該方案中的其他方法。
表 1. 在 500k（DMControl500k）和 100k（DMControl100k）環(huán)境步長基準下，CURL 和 DMControl 基準上獲得的基線得分。
圖 4. 相對于 SLAC、PlaNet、Pixel SAC 和 State SAC 基線，平均 10 個 seeds 的 CURL 耦合 SAC 性能。
圖 6. 要獲得與 CURL 在 100k 訓練步驟中所得分相同的分數(shù)，需要先行采用領先的 pixel-based 方法 Dreamer 的步驟數(shù)。
圖 7. 將 CURL 與 state-based 的 SAC 進行比較，在 16 個所選 DMControl 環(huán)境中的每個環(huán)境上運行 2 個 seeds。
Atari
在 Atari 實驗中的主要發(fā)現(xiàn)：
- 就大多數(shù) 26 項 Atari100k 實驗的數(shù)據(jù)效率而言，CURL 是 SOTA PixelBased RL 算法。平均而言，在 Atari100k 上，CURL 的性能比 SimPLe 高 1.6 倍，而 Efficient Rainbow DQN 則高 2.5 倍。
- CURL 達到 24％的人類標準化分數(shù)（HNS），而 SimPLe 和 Efficient Rainbow DQN 分別達到 13.5％和 14.7％。CURL，SimPLe 和 Efficient Rainbow DQN 的平均 HNS 分別為 37.3％，39％和 23.8％。
- CURL 在三款游戲 JamesBond（98.4％HNS），F(xiàn)reeway（94.2％HNS）和 Road Runner（86.5％HNS）上幾乎可以與人類的效率相提并論，這在所有 pixel-based 的 RL 算法中均屬首例。
表 2. 通過 CURL 和以 10 萬個時間步長（Atari100k）為標準所獲得的分數(shù)。CURL 在 26 個環(huán)境中的 14 個環(huán)境中實現(xiàn)了 SOTA。
項目介紹
安裝
所有相關項都在 conda_env.yml 文件中。它們可以手動安裝，也可以使用以下命令安裝：
- conda env create -f conda_env.yml
使用說明
要從基于圖像的觀察中訓練 CURL agent 完成 cartpole swingup 任務，請從該目錄的根目錄運行 bash script/run.sh。run.sh 文件包含以下命令，也可以對其進行修改以嘗試不同的環(huán)境/超參數(shù)。
- CUDA_VISIBLE_DEVICES=0 python train.py
- --domain_name cartpole
- --task_name swingup
- --encoder_type pixel
- --action_repeat 8
- --save_tb --pre_transform_image_size 100 --image_size 84
- --work_dir ./tmp
- --agent curl_sac --frame_stack 3
- --seed -1 --critic_lr 1e-3 --actor_lr 1e-3 --eval_freq 10000 --batch_size 128 --num_train_steps 1000000
在控制臺中，應該看到如下所示的輸出：
- | train | E: 221 | S: 28000 | D: 18.1 s | R: 785.2634 | BR: 3.8815 | A_LOSS: -305.7328 | CR_LOSS: 190.9854 | CU_LOSS: 0.0000
- | train | E: 225 | S: 28500 | D: 18.6 s | R: 832.4937 | BR: 3.9644 | A_LOSS: -308.7789 | CR_LOSS: 126.0638 | CU_LOSS: 0.0000
- | train | E: 229 | S: 29000 | D: 18.8 s | R: 683.6702 | BR: 3.7384 | A_LOSS: -311.3941 | CR_LOSS: 140.2573 | CU_LOSS: 0.0000
- | train | E: 233 | S: 29500 | D: 19.6 s | R: 838.0947 | BR: 3.7254 | A_LOSS: -316.9415 | CR_LOSS: 136.5304 | CU_LOSS: 0.0000
cartpole swing up 的最高分數(shù)約為 845 分。而且，CURL 如何以小于 50k 的步長解決 visual cartpole。根據(jù)使用者的 GPU 不同而定，大約需要一個小時的訓練。同時作為參考，最新的端到端方法 D4PG 需要 50M 的 timesteps 來解決相同的問題。
- Log abbreviation mapping：
- train - training episode
- E - total number of episodes
- S - total number of environment steps
- D - duration in seconds to train 1 episode
- R - mean episode reward
- BR - average reward of sampled batch
- A_LOSS - average loss of actor
- CR_LOSS - average loss of critic
- CU_LOSS - average loss of the CURL encoder
與運行相關的所有數(shù)據(jù)都存儲在指定的 working_dir 中。若要啟用模型或視頻保存，請使用--save_model 或--save_video。而對于所有可用的標志，需要檢查 train.py。使用 tensorboard 運行來進行可視化：
- tensorboard --logdir log --port 6006
同時在瀏覽器中轉到 localhost：6006。如果運行異常，可以嘗試使用 ssh 進行端口轉發(fā)。
對于使用 GPU 加速渲染，確保在計算機上安裝了 EGL 并設置了 export MUJOCO_GL = egl。
