在過去的一年中，強化學習已經取得了重大進步，最新技術每兩個月發布一次。 我們已經看到AlphaGo擊敗了世界冠軍圍棋選手Ke Jie，Multi-Agents玩了捉迷藏，甚至AlphaStar在星際爭霸中也擁有自己的實力。

實施這些算法可能會非常具有挑戰性，因為它需要對深度學習和強化學習都有很好的理解。 本文的目的是讓您快速使用一些簡潔的程序包，以便您可以輕松地開始學習強化學習。

有關如何實施SOTA深度強化學習算法的深入教程，請參閱此內容。 強烈推薦您仔細閱讀!

一、環境

在開始實現這些算法之前，我們首先需要創建一個工作環境，即游戲。 對于算法而言，重要的是要了解什么是動作和觀察空間。 為此，我們將介紹幾個可用于選擇有趣環境的軟件包。

1. Gym

Gym是用于開發和比較強化學習算法的工具包。 它通常用于實驗和研究目的，因為它提供了一個易于使用的界面來處理環境。

只需使用以下命令安裝軟件包：

pip install gym 

之后，您可以使用以下代碼創建環境：

import gym 
env = gym.make(‘CartPole-v0’) 

在 CartPole 環境中，您的任務是防止頭連接到推車的電線桿掉落。

env變量包含有關環境(游戲)的信息。 要了解CartPole的操作空間是什么，只需運行env.action_space即可產生Discrete(2)。 這意味著可能有兩個離散的動作。 要查看觀察空間，請運行env.observation_space，它產生Box(4)。 此框代表 n(4)個封閉間隔的笛卡爾積。

要渲染游戲，請運行以下代碼：

import gym 
env = gym.make('CartPole-v0') 
 
obs = env.reset() 
while True: 
    action = env.action_space.sample() 
    obs, rewards, done, info = env.step(action) 
    env.render() 
 
    if done: 
        break 

我們可以看到，如果我們選擇采取隨機行動，則小車車一直在失敗。 最終，目標將是運行強化學習算法，該算法將學習如何解決此問題。

有關Gym中環境的完整列表，請參閱此。

注意：如果您在運行atari(阿塔利)游戲時遇到問題，請參見內容：https://github.com/openai/gym/issues/1726。

2. Retro

創建有趣的環境的另一個選項是使用Retro。 該軟件包由OpenAI開發，可讓您使用ROMS來模擬Airstriker-Genesis之類的游戲。

只需使用以下命令安裝軟件包：

pip install gym-retro 

然后，我們可以使用以下方法創建和查看環境：

import retro 
env = retro.make(game='Airstriker-Genesis') 

同樣，要渲染游戲，請運行以下代碼：

import retro 
env = retro.make(game='Airstriker-Genesis') 
 
obs = env.reset() 
while True: 
    action = env.action_space.sample() 
    obs, rewards, done, info = env.step(action) 
    env.render() 
 
    if done: 
        break 

要安裝ROMS，您需要找到相應的.sha文件，然后運行：

python3 -m retro.import /path/to/your/ROMs/directory/ 

注意：有關易于使用的環境的完整列表，請運行：

retro.data.list_games() 

3. Procgen

強化學習的一個典型問題是，生成的算法通常可以在特定環境下很好地工作，但無法學習任何可通用的技能。 例如，如果我們要改變游戲的外觀或敵人的反應該怎么辦?

為了解決這個問題，OpenAI開發了一個名為Procgen的軟件包，該軟件包允許創建過程生成的環境。 我們可以使用此軟件包來衡量強化學習代理學習通用技能的速度。

渲染游戲非常簡單：

import gym 
param = {"num_levels": 1, "distribution_mode": "hard"} 
env = gym.make("procgen:procgen-leaper-v0", **param) 
 
obs = env.reset() 
while True: 
    action = env.action_space.sample() 
    obs, rewards, done, info = env.step(action) 
    env.render() 
 
    if done: 
        break 

這將生成可在其上訓練算法的單個級別。 有幾個選項可用于以程序方式生成同一環境的許多不同版本：

• num_levels-可以生成的唯一級別數
• distribution_mode-使用哪種級別的變量，選項為"easy簡單"，"hard難"，"extreme極致"，"memory記憶"，"exploration探索"。 所有游戲都支持“易”和“難”，而其他選項則取決于游戲。

二、強化學習

現在，終于是時候進行實際的強化學習了。 盡管有許多可用的軟件包可用于訓練算法，但由于它們的可靠實現，我將主要研究“穩定Baselines ”。

請注意，我不會在此帖子中解釋RL算法的實際工作方式，因為這本身就需要一個全新的帖子。 有關最新算法(例如PPO，SAC和TD3)的概述，請參見內容：

https://github.com/dennybritz/reinforcement-learning。

1. 穩定的基線(穩定Baselines)

穩定基準(SB)是基于OpenAI基準的，旨在使研究社區和行業更容易復制，改進和識別新想法。 他們在“基線”上進行了改進，使之成為一個更穩定，更簡單的工具，使初學者可以嘗試進行“強化學習”，而不會陷入實施細節中。

SB之所以經常使用，是因為它可以輕松，快速地應用最新的強化學習算法。 此外，創建和訓練RL模型只需要幾行代碼。

安裝可以簡單地通過以下方式完成：pip install stable-baselines。 然后，為了創建和學習RL模型(例如PPO2)，我們運行以下代碼行：

from stable_baselines import PPO2 
from stable_baselines.common.policies import MlpPolicy 
model = PPO2(MlpPolicy, env, verbose=1) 
model.learn(total_timesteps=10_000, log_interval=10) 

有些事情可能需要一些解釋：

• total_timesteps：要訓練的樣本總數
• MlpPolicy：實現actor-critic的Policy對象。 在這種情況下，將使用2層64層的多層感知器。還有視覺信息策略，例如CnnPolicy甚至CnnLstmPolicy

為了將此模型應用于CartPole示例，我們需要將環境包裝在Dummy中，以使其可供SB使用。 然后，在CartPole環境中訓練PPO2的完整示例如下：

from stable_baselines.common.policies import MlpPolicy 
from stable_baselines.common.vec_env import DummyVecEnv 
from stable_baselines import PPO2 
import gym 
 
env = gym.make('CartPole-v0') 
env = DummyVecEnv([lambda: env]) 
 
model = PPO2(MlpPolicy, env, verbose=1) 
model.learn(total_timesteps=50_000, log_interval=10) 
 
obs = env.reset() 
while True: 
    action, _states = model.predict(obs) 
    obs, rewards, dones, info = env.step(action) 
    env.render() 

如上圖所示，PPO2僅用50,000步就設法找到一種保持極點穩定的方法。 這只需要幾行代碼和幾分鐘的處理!

如果要將其應用于Procgen或Retro，請確保選擇一個允許基于卷積的網絡的策略，因為觀察空間很可能是環境當前狀態的圖像。

最后，CartPole示例非常簡單，僅需訓練50,000步即可。 大多數其他環境在顯示出顯著改進之前通常需要執行幾千萬步。

注意：《穩定基準》的作者警告初學者在產品中使用該軟件包之前，對強化學習要有很好的了解。 強化學習有許多關鍵組成部分，如果其中任何一個出現錯誤，該算法將失敗，并且可能會留下很少的解釋。

2. 其他軟件包

還有其他一些常用于應用RL算法的軟件包：

• TF-Agents-比穩定基線需要更多的編碼，但通常是強化學習研究的必備軟件包。
• MinimalRL-在Pytorch中以非常少的代碼實現的最新RL算法。 它絕對有助于理解算法。
• DeepRL-Pytorch的另一種實現，但是此版本還具有實現要使用的其他環境。
• MlAgents-一個開放源代碼的Unity插件，使游戲和模擬可用作培訓代理的環境。

三、結論

強化學習可能是一個棘手的課題，因為很難調試代碼中是否以及何時出現問題。 希望這篇文章可以幫助您開始進行強化學習。