【51CTO.com快譯】

深度強(qiáng)化學(xué)習(xí)是人工智能最令人關(guān)注的分支之一。它是人工智能領(lǐng)域一些技術(shù)最顯著成就的背后支撐，包括在棋盤和電子游戲、自動(dòng)駕駛汽車、機(jī)器人和人工智能硬件設(shè)計(jì)方面中擊敗人類冠軍。

深度強(qiáng)化學(xué)習(xí)利用深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力來解決傳統(tǒng) RL 技術(shù)無法解決的復(fù)雜問題。深度強(qiáng)化學(xué)習(xí)比機(jī)器學(xué)習(xí)的其他分支復(fù)雜得多，在這篇文章中，將在不涉及技術(shù)細(xì)節(jié)的情況下揭開它的神秘面紗。

狀態(tài)、獎(jiǎng)勵(lì)和行動(dòng)

每個(gè)強(qiáng)化學(xué)習(xí)問題的核心都是一個(gè) agent (代理)和一個(gè)環(huán)境。環(huán)境提供是有關(guān)系統(tǒng)狀態(tài)的信息。代理是用來觀察這些狀態(tài)并通過執(zhí)行操作與環(huán)境進(jìn)行交互，其動(dòng)作可以是離散的（如撥動(dòng)開關(guān)）或連續(xù)的（如轉(zhuǎn)動(dòng)旋鈕）。這些操作會(huì)促使環(huán)境過渡到一個(gè)新狀態(tài)。并且根據(jù)新狀態(tài)是否與系統(tǒng)目標(biāo)相關(guān)，代理將獲得獎(jiǎng)勵(lì)（如果將代理遠(yuǎn)離其目標(biāo)，獎(jiǎng)勵(lì)也可以為零或負(fù)）。

狀態(tài)-動(dòng)作-獎(jiǎng)勵(lì)循環(huán)圖

狀態(tài)-動(dòng)作-獎(jiǎng)勵(lì)的每一個(gè)循環(huán)都稱為一個(gè)步驟。強(qiáng)化學(xué)習(xí)系統(tǒng)繼續(xù)循環(huán)迭代，直到達(dá)到所需的狀態(tài)或達(dá)到最大步驟數(shù)為止。這一系列的步驟稱為一集。在每一片段開始時(shí)，環(huán)境被設(shè)置為初始狀態(tài)，代理的獎(jiǎng)勵(lì)重置為零。

強(qiáng)化學(xué)習(xí)的目標(biāo)是訓(xùn)練代理采取行動(dòng)，以其回報(bào)最大化，且代理的動(dòng)作生成功能被稱為策略。一個(gè)代理通常需要很多情節(jié)來學(xué)習(xí)一個(gè)好的策略。對于簡單的問題，幾百個(gè)情節(jié)可能足以讓代理學(xué)習(xí)一個(gè)不錯(cuò)的策略。對于更復(fù)雜的問題，代理可能需要數(shù)百萬次訓(xùn)練才可以實(shí)現(xiàn)。

強(qiáng)化學(xué)習(xí)系統(tǒng)有更微妙的細(xì)微差別。例如，RL 環(huán)境可以是確定性的或非確定性的。在確定性環(huán)境中，多次運(yùn)行一系列狀態(tài)-動(dòng)作對總是會(huì)產(chǎn)生相同的結(jié)果。相比之下，在非確定性 RL 問題中，環(huán)境狀態(tài)可能會(huì)因代理行為以外的事物（例如，時(shí)間的流逝、天氣、環(huán)境中的其他代理）而發(fā)生變化。

強(qiáng)化學(xué)習(xí)應(yīng)用

為了更好地理解強(qiáng)化學(xué)習(xí)的組成部分，通過下面幾個(gè)例子進(jìn)行講解。

國際象棋：在這里，環(huán)境就是棋盤，環(huán)境的狀態(tài)是棋子在棋盤上的位置。RL 代理可以是其中一名玩家（或者，兩名玩家可以是在同一環(huán)境中分別訓(xùn)練的RL 代理）。每一盤棋都是一集，這一集從初始狀態(tài)開始，黑板和白板的邊緣排列著黑色和白色的棋子。在每一步中，代理都會(huì)觀察棋盤（狀態(tài)）并移動(dòng)其中的一個(gè)部分（采取行動(dòng)），從而將環(huán)境轉(zhuǎn)換為新狀態(tài)。該代理會(huì)因達(dá)到將死狀態(tài)而獲得獎(jiǎng)勵(lì)，否則將獲得零獎(jiǎng)勵(lì)。國際象棋的一個(gè)關(guān)鍵挑戰(zhàn)是，棋手在將對手將死之前不會(huì)得到任何獎(jiǎng)勵(lì)，這使得機(jī)器學(xué)習(xí)變得很困難。

Atari Breakout： Breakout 是一款玩家控制球拍的電子游戲。有一個(gè)球在屏幕上移動(dòng)，每次擊中球拍，它就會(huì)反彈到屏幕的頂部，那里排列著一排排的磚塊。每次球拍碰到磚塊時(shí)，磚塊就會(huì)被破壞，隨之球會(huì)反彈回來。在 Breakout 中，環(huán)境就是游戲屏幕。狀態(tài)是球拍和磚塊的位置，以及球的位置和速度。代理可以執(zhí)行的操作有向左移動(dòng)、向右移動(dòng)或著不移動(dòng)。每次球擊中磚塊時(shí)，代理都會(huì)收到正獎(jiǎng)勵(lì)，如果球越過球拍并到達(dá)屏幕底部，則代理會(huì)收到負(fù)獎(jiǎng)勵(lì)。

自動(dòng)駕駛汽車：在自動(dòng)駕駛中，代理就是汽車，環(huán)境就是汽車行駛的空間。RL 代理通過攝像頭、激光雷達(dá)和其他傳感器觀察環(huán)境狀態(tài)。代理可以執(zhí)行導(dǎo)航操作，例如加速、剎車、左轉(zhuǎn)或右轉(zhuǎn)等。RL 代理會(huì)因?yàn)楸３终ｑ{駛、避免碰撞、遵守駕駛規(guī)則和遵守交通路線而獲得獎(jiǎng)勵(lì)。

強(qiáng)化學(xué)習(xí)功能

基本上，強(qiáng)化學(xué)習(xí)的目標(biāo)是以最大化獎(jiǎng)勵(lì)的方式將狀態(tài)映射到動(dòng)作。但是 RL 代理究竟學(xué)習(xí)了什么？

RL 系統(tǒng)有三種學(xué)習(xí)算法：

基于策略的算法：這是最常見的優(yōu)化類型。策略將狀態(tài)映射到操作。學(xué)習(xí)策略的 RL 代理可以創(chuàng)建從當(dāng)前狀態(tài)到目標(biāo)的動(dòng)作軌跡。

例如，實(shí)現(xiàn)一個(gè)正在優(yōu)化策略以通過迷宮導(dǎo)航并到達(dá)出口的代理。首先，它進(jìn)行隨機(jī)移動(dòng)，但不會(huì)收到任何獎(jiǎng)勵(lì)。在其中一集中，它最終到達(dá)出口并獲得出口獎(jiǎng)勵(lì)。它回溯其軌跡，并根據(jù)代理與最終目標(biāo)的接近程度重新調(diào)整每個(gè)狀態(tài)-動(dòng)作對的獎(jiǎng)勵(lì)。在下一集中，RL 代理將更好地了解給定每個(gè)狀態(tài)要采取的操作，從而逐漸調(diào)整策略，直到收斂到最優(yōu)解。

REINFORCE 是一種流行的基于策略的算法。基于策略的函數(shù)的優(yōu)勢在于可以應(yīng)用于各種強(qiáng)化學(xué)習(xí)問題。基于策略的算法的權(quán)衡在于，它們的樣本效率低，并且在收斂到最佳解決方案之前需要大量訓(xùn)練。
基于值的算法：基于值的函數(shù)學(xué)習(xí)評估狀態(tài)和動(dòng)作的值。基于值的函數(shù)可幫助 RL 代理評估當(dāng)前狀態(tài)和操作的未來回報(bào)是多少。

基于值的函數(shù)有兩種變體：Q 值和 V 值。Q 函數(shù)是估計(jì)狀態(tài)-動(dòng)作對的預(yù)期回報(bào)。V 函數(shù)僅估計(jì)狀態(tài)的值。Q 函數(shù)更常見，因?yàn)樗菀讓顟B(tài)-動(dòng)作對轉(zhuǎn)換為 RL 策略。

兩種流行的基于值的算法是 SARSA 和 DQN。基于值的算法比基于策略的 RL 具有更高的樣本效率。它們的局限性在于它們僅適用于離散動(dòng)作空間（除非對其進(jìn)行一些更改）。

基于模型的算法：基于模型的算法采用不同的方法進(jìn)行強(qiáng)化學(xué)習(xí)。他們不是評估狀態(tài)和動(dòng)作的價(jià)值，而是預(yù)測給定當(dāng)前狀態(tài)和動(dòng)作的環(huán)境狀態(tài)。基于模型的強(qiáng)化學(xué)習(xí)允許agent在采取任何行動(dòng)之前模擬不同的軌跡。

[[424589]]

基于模型的方法為代理提供了遠(yuǎn)見，并減少了手動(dòng)收集數(shù)據(jù)的需要。在收集訓(xùn)練數(shù)據(jù)和經(jīng)驗(yàn)既昂貴又緩慢的應(yīng)用中非常有利（例如，機(jī)器人和自動(dòng)駕駛汽車）。

但基于模型的強(qiáng)化學(xué)習(xí)的關(guān)鍵挑戰(zhàn)是，創(chuàng)建環(huán)境的真是模型可能非常困難。非確定性環(huán)境，如現(xiàn)實(shí)世界，很難建模。在某些情況下，開發(fā)人員設(shè)法創(chuàng)建近似真實(shí)環(huán)境的模擬。但是，即使是學(xué)習(xí)這些模擬環(huán)境的模型，也非常困難。
盡管如此，基于模型的算法在諸如國際象棋和圍棋等確定性問題中變得流行。蒙特卡羅樹搜索 (MTCS) 是一種流行的基于模型的方法，可應(yīng)用于確定性環(huán)境。

組合方法：為了克服各類強(qiáng)化學(xué)習(xí)算法的缺點(diǎn)，科學(xué)家們開發(fā)了組合不同類型學(xué)習(xí)函數(shù)元素的算法。例如，Actor-Critic 算法結(jié)合了基于策略和基于值的函數(shù)的優(yōu)點(diǎn)。這些算法使用來自價(jià)值函數(shù)（評論家）的反饋來引導(dǎo)策略學(xué)習(xí)者（參與者）朝著正確的方向改進(jìn)，從而產(chǎn)生一個(gè)更具樣本效率的系統(tǒng)。

為什么要進(jìn)行深度強(qiáng)化學(xué)習(xí)？

到目前為止，還沒有談到深度神經(jīng)網(wǎng)絡(luò)。事實(shí)上，可以以任何方式實(shí)現(xiàn)上述所有算法。例如，Q-learning是一種經(jīng)典的強(qiáng)化學(xué)習(xí)算法，它在agent與環(huán)境交互時(shí)創(chuàng)建了一個(gè)狀態(tài)-動(dòng)作-獎(jiǎng)勵(lì)值表。在處理狀態(tài)和操作數(shù)量非常少且非常簡單的環(huán)境時(shí)，此類方法可以很好地工作。

但是，當(dāng)處理一個(gè)復(fù)雜的環(huán)境時(shí)，在這個(gè)環(huán)境中，動(dòng)作和狀態(tài)的組合數(shù)量可能會(huì)達(dá)到巨大的數(shù)量，或者環(huán)境是不確定的，并且可能具有幾乎無限的狀態(tài)，評估每個(gè)可能的狀態(tài)-動(dòng)作對就變得不可能了。

在這些情況下，需要一個(gè)近似函數(shù)，該函數(shù)可以根據(jù)有限的數(shù)據(jù)學(xué)習(xí)最優(yōu)策略，這就是人工神經(jīng)網(wǎng)絡(luò)所做的。給定正確的結(jié)構(gòu)和優(yōu)化函數(shù)，深度神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)最優(yōu)策略，而無需遍歷系統(tǒng)的所有可能狀態(tài)。深度強(qiáng)化學(xué)習(xí)代理仍然需要大量數(shù)據(jù)（例如，在Dota和星際爭霸中進(jìn)行數(shù)千小時(shí)的游戲），但它們可以解決經(jīng)典強(qiáng)化學(xué)習(xí)系統(tǒng)無法解決的問題。

例如，深度強(qiáng)化學(xué)習(xí)模型可以使用卷積神經(jīng)網(wǎng)絡(luò)從視覺數(shù)據(jù)中提取狀態(tài)信息，例如攝像機(jī)輸入和視頻游戲圖形。而遞歸神經(jīng)網(wǎng)絡(luò)可以從幀序列中提取有用的信息，比如球的方向，或者汽車是否停放或移動(dòng)。這種復(fù)雜的學(xué)習(xí)能力可以幫助 RL 代理理解更復(fù)雜的環(huán)境，并將其狀態(tài)映射到動(dòng)作。

深度強(qiáng)化學(xué)習(xí)可與機(jī)器監(jiān)督學(xué)習(xí)相媲美。該模型生成動(dòng)作，并根據(jù)來自環(huán)境的反饋調(diào)整其參數(shù)。然而，深度強(qiáng)化學(xué)習(xí)也有一些獨(dú)特的挑戰(zhàn)，使其不同于傳統(tǒng)的監(jiān)督學(xué)習(xí)。

與監(jiān)督學(xué)習(xí)不同，在監(jiān)督學(xué)習(xí)問題中，模型具有一組標(biāo)記數(shù)據(jù)，RL 代理只能訪問其自身經(jīng)驗(yàn)的結(jié)果。它能夠根據(jù)在不同訓(xùn)練階段收集的經(jīng)驗(yàn)來學(xué)習(xí)最佳策略。但也可能錯(cuò)過許多其他導(dǎo)致更好政策的最佳軌跡。強(qiáng)化學(xué)習(xí)還需要評估狀態(tài)-動(dòng)作對的軌跡，這比每個(gè)訓(xùn)練示例與其預(yù)期結(jié)果配對的監(jiān)督學(xué)習(xí)問題更難學(xué)習(xí)。

這種增加的復(fù)雜性增加了深度強(qiáng)化學(xué)習(xí)模型的數(shù)據(jù)要求。但監(jiān)督學(xué)習(xí)不同的是，深度強(qiáng)化學(xué)習(xí)模型在訓(xùn)練期間收集數(shù)據(jù)，監(jiān)督學(xué)習(xí)可以提前管理和準(zhǔn)備數(shù)據(jù)。在某些類型的 RL 算法中，在一個(gè)片段中收集的數(shù)據(jù)必須在之后被丟棄，并且不能用于進(jìn)一步加快未來片段中的模型調(diào)整過程。

深度強(qiáng)化學(xué)習(xí)與通用人工智能

人工智能社區(qū)對深度強(qiáng)化學(xué)習(xí)的推動(dòng)程度存在分歧。一些科學(xué)家認(rèn)為，使用正確的 RL 架構(gòu)，就可以解決任何類型的問題，包括通用人工智能。這些科學(xué)家相信，強(qiáng)化學(xué)習(xí)與產(chǎn)生自然智能的算法相同，如果有足夠的時(shí)間和精力以及適當(dāng)?shù)莫?jiǎng)勵(lì)，我們可以重新創(chuàng)造人類水平的智能。

其他人則認(rèn)為強(qiáng)化學(xué)習(xí)不能解決人工智能的一些最基本的問題。另一部分人認(rèn)為，盡管深度強(qiáng)化學(xué)習(xí)代理有很多好處，但需要明確定義問題，并且無法自己發(fā)現(xiàn)新問題和解決方案。

無論如何，不可否認(rèn)的是，深度強(qiáng)化學(xué)習(xí)已經(jīng)幫助解決了一些非常復(fù)雜的挑戰(zhàn)，并且將繼續(xù)成為 人工智能社區(qū)目前感興趣和研究的一個(gè)重要領(lǐng)域。

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】