一篇持續(xù)強化學(xué)習(xí)技術(shù)最新綜述
強化學(xué)習(xí)（RL）是一種用于解決序列決策問題的重要機器學(xué)習(xí)范式，然而，RL依賴于大量的訓(xùn)練數(shù)據(jù)和計算資源，跨任務(wù)泛化能力方面的局限性。隨著持續(xù)學(xué)習(xí)（CL）的興起，持續(xù)強化學(xué)習(xí)（CRL）作為一種有前景的研究方向應(yīng)運而生，旨在通過使智能體能夠持續(xù)學(xué)習(xí)、適應(yīng)新任務(wù)并保留先前獲得的知識，來解決這些局限性。
文章對CRL進行了全面的考察，重點關(guān)注其核心概念、挑戰(zhàn)和方法，提出了一種新的CRL方法分類體系，從知識存儲和/或轉(zhuǎn)移的角度將它們分為四種類型。
一、CRL總覽
A. 定義（Definition）
- CRL的定義：CRL是強化學(xué)習(xí)（RL）的擴展，強調(diào)智能體在動態(tài)、多任務(wù)環(huán)境中持續(xù)學(xué)習(xí)、適應(yīng)和保留知識的能力。
- 與傳統(tǒng)RL的區(qū)別：傳統(tǒng)RL通常專注于單一任務(wù)，而CRL強調(diào)在任務(wù)序列中保持和提升泛化能力。
- 與多任務(wù)RL（MTRL）和遷移RL（TRL）的關(guān)系：
MTRL：同時處理多個任務(wù)，任務(wù)集固定且已知。
TRL：將知識從源任務(wù)遷移到目標(biāo)任務(wù)，加速目標(biāo)任務(wù)的學(xué)習(xí)。
CRL：任務(wù)通常按順序到達，環(huán)境持續(xù)變化，目標(biāo)是積累知識并快速適應(yīng)新任務(wù)。
B. 挑戰(zhàn)（Challenges）
- CRL面臨的主要挑戰(zhàn)：在可塑性（plasticity）、穩(wěn)定性（stability）和可擴展性（scalability）之間實現(xiàn)三角平衡。
穩(wěn)定性：避免災(zāi)難性遺忘，保持對舊任務(wù)的性能。
可塑性：學(xué)習(xí)新任務(wù)的能力，以及利用先前知識提高新任務(wù)性能的能力。
可擴展性：在資源有限的情況下學(xué)習(xí)多個任務(wù)的能力。
C. 度量標(biāo)準(zhǔn)（Metrics）
- 傳統(tǒng)RL的度量：通常使用累積獎勵或成功率來衡量智能體的性能。
- CRL的度量：
平均性能（Average Performance）：智能體在所有已學(xué)習(xí)任務(wù)上的整體性能。
遺忘（Forgetting）：智能體在后續(xù)訓(xùn)練后對舊任務(wù)性能的下降程度。
轉(zhuǎn)移（Transfer）：智能體利用先前任務(wù)知識提高未來任務(wù)性能的能力，包括前向轉(zhuǎn)移和后向轉(zhuǎn)移。
D. 任務(wù)（Tasks）
- 導(dǎo)航任務(wù)：在二維狀態(tài)空間中使用離散動作集，智能體探索未知環(huán)境以到達目標(biāo)。
- 控制任務(wù)：涉及三維狀態(tài)空間和離散動作集，智能體使用控制命令達到特定目標(biāo)狀態(tài)。
- 視頻游戲：狀態(tài)空間通常為圖像，動作為離散，智能體執(zhí)行復(fù)雜控制以實現(xiàn)目標(biāo)。
E. 基準(zhǔn)測試（Benchmarks）
- CRL基準(zhǔn)測試：如CRL Maze、Lifelong Hanabi、Continual World等，這些基準(zhǔn)測試在任務(wù)數(shù)量、任務(wù)序列長度和觀察類型等方面有所不同。
F. 場景設(shè)置（Scenario Settings）
- CRL場景分類：
終身適應(yīng)（Lifelong Adaptation）：智能體在任務(wù)序列上訓(xùn)練，僅在新任務(wù)上評估性能。
非平穩(wěn)性學(xué)習(xí)（Non-Stationarity Learning）：任務(wù)在獎勵函數(shù)或轉(zhuǎn)移函數(shù)上有所不同，智能體在所有任務(wù)上評估性能。
任務(wù)增量學(xué)習(xí)（Task Incremental Learning）：任務(wù)在獎勵和轉(zhuǎn)移函數(shù)上顯著不同，智能體在所有任務(wù)上評估性能。
任務(wù)無關(guān)學(xué)習(xí)（Task-Agnostic Learning）：智能體在沒有任務(wù)標(biāo)簽或身份的情況下訓(xùn)練，需要推斷任務(wù)變化。
二、CRL分類
系統(tǒng)地回顧了持續(xù)強化學(xué)習(xí)（CRL）領(lǐng)域的主要方法，并提出了一種新的分類體系，將CRL方法按照所存儲和/或轉(zhuǎn)移的知識類型分為四大類：基于策略的（Policy-focused）、基于經(jīng)驗的（Experience-focused）、基于動態(tài)的（Dynamic-focused）和基于獎勵的（Reward-focused）方法。
A. 基于策略的方法
這是最主流的一類方法，強調(diào)對策略函數(shù)或價值函數(shù)的存儲與復(fù)用，分為三個子類：
1）策略重用（Policy Reuse）
- 保留并重用先前任務(wù)的完整策略。
- 常見做法：使用舊策略初始化新策略（如MAXQINIT、ClonEx-SAC）。
- 高級方法：使用任務(wù)組合（如布爾代數(shù)）實現(xiàn)零樣本泛化（如SOPGOL）。
- 可擴展性較差，但知識遷移能力強。
2）策略分解（Policy Decomposition）
- 將策略分解為共享組件和任務(wù)特定組件。
- 方法包括：
因子分解（如PG-ELLA、LPG-FTW）
多頭網(wǎng)絡(luò)（如OWL、DaCoRL）
模塊化結(jié)構(gòu)（如SANE、CompoNet）
層次化結(jié)構(gòu)（如H-DRLN、HLifeRL、MPHRL）
- 優(yōu)點：結(jié)構(gòu)清晰、可擴展性強、適合復(fù)雜任務(wù)。
3）策略合并（Policy Merging）
- 將多個策略合并為一個模型，節(jié)省存儲資源。
- 技術(shù)手段包括：
蒸餾（如P&C、DisCoRL）
超網(wǎng)絡(luò)（如HN-PPO）
掩碼（如MASKBLC）
正則化（如EWC、Online-EWC、TRAC）
- 優(yōu)點：節(jié)省內(nèi)存、適合資源受限場景。
B. 基于經(jīng)驗的方法
強調(diào)對歷史經(jīng)驗的存儲與復(fù)用，類似于經(jīng)驗回放機制，分為兩類：
1）直接回放（Direct Replay）
- 使用經(jīng)驗緩沖區(qū)保存舊任務(wù)數(shù)據(jù)（如CLEAR、CoMPS、3RL）。
- 優(yōu)點：簡單有效，適合任務(wù)邊界明確的場景。
- 缺點：內(nèi)存消耗大，存在隱私風(fēng)險。
2）生成回放（Generative Replay）
- 使用生成模型（如VAE、GAN）合成舊任務(wù)經(jīng)驗（如RePR、SLER、S-TRIGGER）。
- 優(yōu)點：節(jié)省內(nèi)存，適合任務(wù)邊界模糊或資源受限場景。
- 缺點：生成質(zhì)量影響性能。
C. 基于動態(tài)的方法（Dynamic-focused Methods）
通過建模環(huán)境動態(tài)（狀態(tài)轉(zhuǎn)移函數(shù)）來適應(yīng)非平穩(wěn)環(huán)境，分為兩類：
1）直接建模（Direct Modeling）
- 顯式學(xué)習(xí)環(huán)境轉(zhuǎn)移函數(shù)（如MOLe、LLIRL、HyperCRL）。
- 優(yōu)點：適合需要長期規(guī)劃的任務(wù)。
- 缺點：建模復(fù)雜，計算開銷大。
2）間接建模（Indirect Modeling）
- 使用潛變量或抽象表示推斷環(huán)境變化（如LILAC、3RL、Continual-Dreamer）。
- 優(yōu)點：更靈活，適合任務(wù)邊界不明確或動態(tài)變化的環(huán)境。
- 常與內(nèi)在獎勵機制結(jié)合使用。
D. 基于獎勵的方法（Reward-focused Methods）
通過修改或重塑獎勵函數(shù)來促進知識遷移和探索，常見方法包括：
- 獎勵塑形（Reward Shaping）：如SR-LLRL、基于時序邏輯的塑形方法。
- 內(nèi)在獎勵（Intrinsic Rewards）：如IML、Reactive Exploration，通過好奇心驅(qū)動探索。
- 逆強化學(xué)習(xí)（IRL）：如ELIRL，從專家演示中學(xué)習(xí)獎勵函數(shù)。
- 大模型輔助獎勵設(shè)計：如MT-Core，使用大語言模型生成任務(wù)相關(guān)的內(nèi)在獎勵。
https://arxiv.org/pdf/2506.21872
A Survey of Continual Reinforcement Learning本文轉(zhuǎn)載自??PaperAgent??
