通過 Q-learning 深入理解強化學習
本文將帶你學習經(jīng)典強化學習算法 Q-learning 的相關知識。在這篇文章中，你將學到：(1)Q-learning 的概念解釋和算法詳解;(2)通過 Numpy 實現(xiàn) Q-learning。
故事案例：騎士和公主
假設你是一名騎士，并且你需要拯救上面的地圖里被困在城堡中的公主。
你每次可以移動一個方塊的距離。敵人是不能移動的，但是如果你和敵人落在了同一個方塊中，你就會死。你的目標是以盡可能快的路線走到城堡去。這可以使用一個「按步積分」系統(tǒng)來評估。
- 你在每一步都會失去 1 分(每一步失去的分數(shù)幫助智能體訓練的更快)
- 如果碰到了一個敵人，你會失去 100 分，并且訓練 episode 結束。
- 如果進入到城堡中，你就獲勝了，獲得 100 分。
那么問題來了：如何才能夠創(chuàng)建這樣的智能體呢?
下面我將介紹第一個策略。假設智能體試圖走遍每一個方塊，并且將其著色。綠色代表「安全」，紅色代表「不安全」。
同樣的地圖，但是被著色了，用于顯示哪些方塊是可以被安全訪問的。
接著，我們告訴智能體只能選擇綠色的方塊。
但問題是，這種策略并不是十分有用。當綠色的方塊彼此相鄰時，我們不知道選擇哪個方塊是最好的。所以，智能體可能會在尋找城堡的過程中陷入無限的循環(huán)。
Q-Table 簡介
下面我將介紹第二種策略：創(chuàng)建一個表格。通過它，我們可以為每一個狀態(tài)(state)上進行的每一個動作(action)計算出最大的未來獎勵(reward)的期望。
得益于這個表格，我們可以知道為每一個狀態(tài)采取的最佳動作。
每個狀態(tài)(方塊)允許四種可能的操作：左移、右移、上移、下移。
「0」代表不可能的移動(如果你在左上角，你不可能向左移動或者向上移動!)
在計算過程中，我們可以將這個網(wǎng)格轉(zhuǎn)換成一個表。
這種表格被稱為 Q-table(「Q」代表動作的「質(zhì)量」)。每一列將代表四個操作(左、右、上、下)，行代表狀態(tài)。每個單元格的值代表給定狀態(tài)和相應動作的最大未來獎勵期望。
每個 Q-table 的分數(shù)將代表在給定最佳策略的狀態(tài)下采取相應動作獲得的最大未來獎勵期望。
為什么我們說「給定的策略」呢?這是因為我們并不實現(xiàn)這些策略。相反，我們只需要改進 Q-table 就可以一直選擇最佳的動作。
將這個 Q-table 想象成一個「備忘紙條」游戲。得益于此，我們通過尋找每一行中最高的分數(shù)，可以知道對于每一個狀態(tài)(Q-table 中的每一行)來說，可采取的最佳動作是什么。
太棒了!我解決了這個城堡問題!但是，請等一下... 我們?nèi)绾斡嬎?Q-table 中每個元素的值呢?
為了學習到 Q-table 中的每個值，我們將使用 Q-learning 算法。
Q-learning 算法：學習動作值函數(shù)(action value function)
動作值函數(shù)(或稱「Q 函數(shù)」)有兩個輸入：「狀態(tài)」和「動作」。它將返回在該狀態(tài)下執(zhí)行該動作的未來獎勵期望。
我們可以把 Q 函數(shù)視為一個在 Q-table 上滾動的讀取器，用于尋找與當前狀態(tài)關聯(lián)的行以及與動作關聯(lián)的列。它會從相匹配的單元格中返回 Q 值。這就是未來獎勵的期望。
在我們探索環(huán)境(environment)之前，Q-table 會給出相同的任意的設定值(大多數(shù)情況下是 0)。隨著對環(huán)境的持續(xù)探索，這個 Q-table 會通過迭代地使用 Bellman 方程(動態(tài)規(guī)劃方程)更新 Q(s,a) 來給出越來越好的近似。
Q-learning 算法流程
Q-learning 算法的偽代碼
步驟 1：初始化 Q 值。我們構造了一個 m 列(m = 動作數(shù) )，n 行(n = 狀態(tài)數(shù))的 Q-table，并將其中的值初始化為 0。
步驟 2：在整個生命周期中(或者直到訓練被中止前)，步驟 3 到步驟 5 會一直被重復，直到達到了最大的訓練次數(shù)(由用戶指定)或者手動中止訓練。
步驟 3：選取一個動作。在基于當前的 Q 值估計得出的狀態(tài) s 下選擇一個動作 a。
但是……如果每個 Q 值都等于零，我們一開始該選擇什么動作呢?在這里，我們就可以看到探索/利用(exploration/exploitation)的權衡有多重要了。
思路就是，在一開始，我們將使用 epsilon 貪婪策略：
- 我們指定一個探索速率「epsilon」，一開始將它設定為 1。這個就是我們將隨機采用的步長。在一開始，這個速率應該處于最大值，因為我們不知道 Q-table 中任何的值。這意味著，我們需要通過隨機選擇動作進行大量的探索。
- 生成一個隨機數(shù)。如果這個數(shù)大于 epsilon，那么我們將會進行「利用」(這意味著我們在每一步利用已經(jīng)知道的信息選擇動作)。否則，我們將繼續(xù)進行探索。
- 在剛開始訓練 Q 函數(shù)時，我們必須有一個大的 epsilon。隨著智能體對估算出的 Q 值更有把握，我們將逐漸減小 epsilon。
步驟 4-5：評價!采用動作 a 并且觀察輸出的狀態(tài) s' 和獎勵 r。現(xiàn)在我們更新函數(shù) Q(s，a)。
我們采用在步驟 3 中選擇的動作 a，然后執(zhí)行這個動作會返回一個新的狀態(tài) s' 和獎勵 r。
接著我們使用 Bellman 方程去更新 Q(s，a)：
如下方代碼所示，更新 Q(state，action)：
- New Q value =
- Current Q value +
- lr * [Reward + discount_rate * (highest Q value between possible actions from the new state s’ ) — Current Q value ]
讓我們舉個例子：
- 一塊奶酪 = +1
- 兩塊奶酪 = +2
- 一大堆奶酪 = +10(訓練結束)
- 吃到了鼠藥 = -10(訓練結束)
步驟 1：初始化 Q-table
初始化之后的 Q-table
步驟 2：選擇一個動作。從起始點，你可以在向右走和向下走其中選擇一個。由于有一個大的 epsilon 速率(因為我們至今對于環(huán)境一無所知)，我們隨機地選擇一個。例如向右走。
我們隨機移動(例如向右走)
我們發(fā)現(xiàn)了一塊奶酪(+1)，現(xiàn)在我們可以更新開始時的 Q 值并且向右走，通過 Bellman 方程實現(xiàn)。
步驟 4-5：更新 Q 函數(shù)
- 首先，我們計算 Q 值的改變量 ΔQ(start, right)。
- 接著我們將初始的 Q 值與 ΔQ(start, right) 和學習率的積相加。
可以將學習率看作是網(wǎng)絡有多快地拋棄舊值、生成新值的度量。如果學習率是 1，新的估計值會成為新的 Q 值，并完全拋棄舊值。
更新后的 Q-table
太好了!我們剛剛更新了第一個 Q 值。現(xiàn)在我們要做的就是一次又一次地做這個工作直到學習結束。
實現(xiàn) Q-learning 算法
既然我們知道了它是如何工作的，我們將一步步地實現(xiàn) Q-learning 算法。代碼的每一部分都在下面的 Jupyter notebook 中直接被解釋了。
你可以在我的深度強化學習課程 repo 中獲得代碼。
項目地址：
https://github.com/simoninithomas/Deep_reinforcement_learning_Course/blob/master/Q%20learning/Q%20Learning%20with%20FrozenLake.ipynb
回顧
- Q-learning 是一個基于值的強化學習算法，利用 Q 函數(shù)尋找最優(yōu)的「動作—選擇」策略。
- 它根據(jù)動作值函數(shù)評估應該選擇哪個動作，這個函數(shù)決定了處于某一個特定狀態(tài)以及在該狀態(tài)下采取特定動作的獎勵期望值。
- 目的：最大化 Q 函數(shù)的值(給定一個狀態(tài)和動作時的未來獎勵期望)。
- Q-table 幫助我們找到對于每個狀態(tài)來說的最佳動作。
- 通過選擇所有可能的動作中最佳的一個來最大化期望獎勵。
- Q 作為某一特定狀態(tài)下采取某一特定動作的質(zhì)量的度量。
- 函數(shù) Q(state，action)→返回在當前狀態(tài)下采取該動作的未來獎勵期望。
- 這個函數(shù)可以通過 Q-learning 算法來估計，使用 Bellman 方程迭代地更新 Q(s，a)
- 在我們探索環(huán)境之前：Q-table 給出相同的任意的設定值→ 但是隨著對環(huán)境的持續(xù)探索→Q 給出越來越好的近似。
就是這些了!不要忘記自己去實現(xiàn)代碼的每一部分——試著修改已有的代碼是十分重要的。
試著增加迭代次數(shù)，改變學習率，并且使用一個更復雜的環(huán)境(例如：8*8 方格的 Frozen-lake)。祝你玩的開心!
原文鏈接：
https://medium.freecodecamp.org/diving-deeper-into-reinforcement-learning-with-q-learning-c18d0db58efe
【本文是51CTO專欄機構“機器之心”的原創(chuàng)譯文，微信公眾號“機器之心( id: almosthuman2014)”】
