Proximal Policy Optimization (PPO)，這個名字在近幾年的 強(qiáng)化學(xué)習(xí) (Reinforcement Learning, RL) 領(lǐng)域中，幾乎等同于“默認(rèn)選項(xiàng)”和“黃金標(biāo)準(zhǔn)”。

無論是訓(xùn)練機(jī)械臂完成復(fù)雜操作，讓 AI 智能體在游戲中橫掃千軍，還是為 ChatGPT 這樣的 大型語言模型 (LLM) 進(jìn)行 RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）微調(diào)，你都繞不開它。

OpenAI 開發(fā)的 PPO，巧妙地在 策略梯度 方法的框架上進(jìn)行了升級，解決了經(jīng)典策略梯度算法最大的痛點(diǎn)——不穩(wěn)定性。它如何做到既高效又穩(wěn)定？它最核心的創(chuàng)新點(diǎn)又是什么？

今天，我們就來深度剖析 PPO 的工作原理、架構(gòu)，以及在實(shí)際應(yīng)用中如何避開那些隱藏的“坑”。讀完這一篇，你就掌握了 PPO 成功的底層邏輯。

一、PPO 誕生的背景：策略梯度的“不穩(wěn)定”困境

強(qiáng)化學(xué)習(xí) 的核心是讓智能體通過與環(huán)境交互來學(xué)習(xí)決策，目標(biāo)是最大化累積獎勵。與監(jiān)督學(xué)習(xí)不同，RL 依靠的是稀疏的標(biāo)量獎勵信號。

在 RL 算法體系中，策略梯度 方法試圖直接學(xué)習(xí)一個從狀態(tài)到動作的策略函數(shù)，非常適合高維或連續(xù)的動作空間。但這類經(jīng)典算法有個致命缺陷：

不穩(wěn)定，容易“跑偏”。

想象一下，智能體收集了一批經(jīng)驗(yàn)數(shù)據(jù)，基于這批數(shù)據(jù)進(jìn)行一次梯度更新，如果這次更新幅度過大，策略就可能瞬間被推到一個遠(yuǎn)離最優(yōu)區(qū)域的地方，導(dǎo)致性能災(zāi)難性地崩潰，而且很難恢復(fù)。

早期的穩(wěn)定化嘗試，比如 信賴域策略優(yōu)化 (TRPO)，通過對新舊策略之間的 KL 散度施加“硬約束”來限制更新幅度。TRPO 在理論上很優(yōu)雅，但在工程實(shí)現(xiàn)上非常復(fù)雜，尤其不兼容那些策略網(wǎng)絡(luò)和價值網(wǎng)絡(luò)共享參數(shù)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)。

PPO 正是為了解決 TRPO 的復(fù)雜性，同時保留其穩(wěn)定性優(yōu)勢而誕生的。

二、PPO 的核心魔法：剪輯替代目標(biāo)函數(shù)

PPO 的設(shè)計哲學(xué)很簡單：與其大幅度跳躍，不如小步快跑，溫和訓(xùn)練。

它通過引入一個“剪輯”機(jī)制，確保每次策略更新時，新的策略  不會距離舊策略  太遠(yuǎn)，從而避免不穩(wěn)定的災(zāi)難性更新。

1. 策略比例與優(yōu)勢函數(shù)

在 PPO 的目標(biāo)函數(shù)中，有兩個關(guān)鍵元素：

• 策略比例（Ratio）：它衡量了當(dāng)前策略  對某個動作  的概率與舊策略  相比的變化程度。
• 優(yōu)勢函數(shù)（Advantage）：它衡量了在狀態(tài)  下采取動作比平均情況好多少。如果 ，說明這個動作是好的；如果 ，說明這個動作是壞的。

經(jīng)典的 策略梯度 目標(biāo)函數(shù)是 。PPO 的巧妙之處在于，它在這個目標(biāo)函數(shù)上增加了“保險栓”。

2. 剪輯替代目標(biāo)函數(shù)（Clipped Surrogate Objective）

PPO 的核心目標(biāo)函數(shù)是：

這里， 是一個超參數(shù)（典型值在 0.1 到 0.3 之間），定義了策略比例  的“安全區(qū)”：。

這個目標(biāo)函數(shù)  的邏輯非常精妙：

• 當(dāng)優(yōu)勢 （好動作）時：我們希望提高 ，但一旦  超過 ，剪輯替代目標(biāo)函數(shù)就會截斷收益，讓梯度不再增加。這意味著，智能體不會因?yàn)橐粋€特別好的動作而過度自信，從而導(dǎo)致策略劇烈變化。
• 當(dāng)優(yōu)勢 （壞動作）時：我們希望降低 ，但一旦  低于 ，目標(biāo)函數(shù)也會截斷損失，讓梯度不再下降。這意味著，智能體不會因?yàn)橐粋€特別壞的動作而“矯枉過正”，從而導(dǎo)致策略崩潰。

簡而言之，剪輯替代目標(biāo)函數(shù) 像一個“保守的家長”，它獎勵適度的進(jìn)步，但懲罰任何“出格”的行為，確保了策略更新的穩(wěn)定性和安全性。

三、PPO 的黃金搭檔：Actor-Critic 與 GAE

PPO 算法通常運(yùn)行在一個 Actor-Critic 架構(gòu)上，并結(jié)合 廣義優(yōu)勢估計 (GAE) 技術(shù)來獲取更高質(zhì)量的訓(xùn)練信號。

1. Actor-Critic 架構(gòu)：分工協(xié)作

• Actor（策略網(wǎng)絡(luò)）：負(fù)責(zé)根據(jù)當(dāng)前狀態(tài)選擇動作。它輸出動作的概率分布。
• Critic（價值網(wǎng)絡(luò)）：負(fù)責(zé)根據(jù)當(dāng)前狀態(tài)評估價值，即預(yù)測從該狀態(tài)開始能獲得的期望總回報。

這兩個網(wǎng)絡(luò)通常共享底層神經(jīng)網(wǎng)絡(luò)參數(shù)，策略梯度 損失由 Actor 計算，而 Critic 則通過最小化均方誤差 (MSE) 來學(xué)習(xí)其價值函數(shù)。

2. 廣義優(yōu)勢估計 (GAE)：平衡偏差與方差

在 Actor-Critic 框架中，優(yōu)勢函數(shù) 的精確估計至關(guān)重要。經(jīng)典的估計方法要么方差太高（如蒙特卡洛回報），要么偏差太大（如單步時序差分 TD 誤差）。

廣義優(yōu)勢估計 (GAE) 引入了  參數(shù)，通過融合多步 TD 誤差，在偏差和方差之間找到了一個優(yōu)雅的平衡點(diǎn)。它為 策略梯度 提供了更有效、更可靠的 優(yōu)勢函數(shù) 估計，進(jìn)一步提升了 PPO 的性能。

3. PPO 的完整損失函數(shù)

PPO 的總損失函數(shù)由三部分構(gòu)成：

• 剪輯替代目標(biāo)函數(shù)（用于更新 Actor，最大化）
• 價值網(wǎng)絡(luò)損失（如 ，用于更新 Critic，最小化）
• 熵獎勵項(xiàng)（鼓勵探索，最大化，所以前面是負(fù)號）

四、從理論到實(shí)戰(zhàn)：PPO 的 PyTorch 實(shí)現(xiàn)精要

理解 PPO 的最好方式是看它的實(shí)現(xiàn)流程。PPO 是一個 On-Policy（在線策略）算法，這意味著它只能使用當(dāng)前策略產(chǎn)生的數(shù)據(jù)進(jìn)行訓(xùn)練，并且會多次重復(fù)利用同一批次數(shù)據(jù)（ 個 更新輪次）。

1、PPO 的訓(xùn)練循環(huán)（單次迭代）

• 數(shù)據(jù)收集 (Rollout)：使用當(dāng)前策略  與環(huán)境交互，收集一批軌跡數(shù)據(jù)（例如 2048 個時間步）。記錄觀測值、動作、獎勵、價值  和動作的 。
• 優(yōu)勢與回報估計：使用 廣義優(yōu)勢估計 (GAE)，結(jié)合價值網(wǎng)絡(luò)預(yù)測的  和折扣獎勵 ，計算每一步的優(yōu)勢函數(shù)和目標(biāo)回報 。
• 優(yōu)勢歸一化：為了提高訓(xùn)練的數(shù)值穩(wěn)定性，對  進(jìn)行歸一化（零均值、單位標(biāo)準(zhǔn)差）。
• 策略與價值更新：對收集到的數(shù)據(jù)進(jìn)行  個更新輪次（例如 ）。在每個輪次中，計算剪輯替代目標(biāo)函數(shù)和價值損失 ，然后通過梯度下降更新 Actor 和 Critic 的共享參數(shù)。
• 重復(fù)：使用新的策略  重新收集數(shù)據(jù)，重復(fù)以上步驟直到收斂。

2、核心代碼邏輯（基于 PyTorch 示例）

在實(shí)現(xiàn) PPO 時，有幾個關(guān)鍵的 PyTorch 技巧：

輔關(guān)鍵詞：策略梯度、Actor-Critic

五、PPO vs. 其它算法：為什么 PPO 贏了？

PPO 的成功，在于它在 性能、復(fù)雜度和穩(wěn)定性 之間找到了幾乎完美的平衡點(diǎn)。

正如業(yè)內(nèi)所說，如果你不知道在某個 強(qiáng)化學(xué)習(xí) 任務(wù)中該選哪個算法，Proximal Policy Optimization (PPO) 往往是最穩(wěn)妥的選擇。它能提供穩(wěn)定、平滑的學(xué)習(xí)曲線，而且對環(huán)境類型（離散/連續(xù)）有很強(qiáng)的通用性。

# --- compatibility shim for NumPy>=2.0 ---
import numpy as np
if not hasattr(np, "bool8"):
    np.bool8 = np.bool_

# --- imports ---
import gymnasium as gym   # use gymnasium; if you must keep gym
import torch
import torch.nn as nn
import torch.optim as optim

# Actor-Critic network definition
class ActorCritic(nn.Module):
    def __init__(self, state_dim, action_dim):
        super().__init__()
        self.fc1 = nn.Linear(state_dim, 64)
        self.fc2 = nn.Linear(64, 64)
        self.policy_logits = nn.Linear(64, action_dim)  # unnormalized action logits
        self.value = nn.Linear(64, 1)

    def forward(self, state):
        # state can be 1D (obs_dim,) or 2D (batch, obs_dim)
        x = torch.relu(self.fc1(state))
        x = torch.relu(self.fc2(x))
        return self.policy_logits(x), self.value(x)

# Initialize environment and model
env = gym.make("CartPole-v1")
obs_space = env.observation_space
act_space = env.action_space

obs_dim = obs_space.shape[0]
act_dim = act_space.n

model = ActorCritic(obs_dim, act_dim)
optimizer = optim.Adam(model.parameters(), lr=3e-4)

# PPO hyperparameters
epochs = 50               # number of training iterations
steps_per_epoch = 1000    # timesteps per epoch (per update batch)
gamma = 0.99              # discount factor
lam = 0.95                # GAE lambda
clip_epsilon = 0.2        # PPO clip parameter
K_epochs = 4              # update epochs per batch
ent_coef = 0.01
vf_coef = 0.5

for epoch in range(epochs):
    # Storage buffers for this epoch
    observations, actions = [], []
    rewards, dones = [], []
    values, log_probs = [], []

    # Reset env (Gymnasium returns (obs, info))
    obs, _ = env.reset()

    for t in range(steps_per_epoch):
        obs_tensor = torch.tensor(obs, dtype=torch.float32)

        with torch.no_grad():
            logits, value = model(obs_tensor)
            dist = torch.distributions.Categorical(logits=logits)
            action = dist.sample()
            log_prob = dist.log_prob(action)

        # Step env (Gymnasium returns 5-tuple)
        next_obs, reward, terminated, truncated, _ = env.step(action.item())
        done = terminated or truncated

        # Store transition
        observations.append(obs_tensor)
        actions.append(action)
        rewards.append(float(reward))
        dones.append(done)
        values.append(float(value.item()))
        log_probs.append(float(log_prob.item()))

        obs = next_obs
        ifdone:
            obs, _ = env.reset()

    # Bootstrap last value for GAE (from final obs of the epoch)
    with torch.no_grad():
        last_v = model(torch.tensor(obs, dtype=torch.float32))[1].item()

    # Compute GAE advantages and returns
    advantages = []
    gae = 0.0
    # Append bootstrap to values (so values[t+1] is valid)
    values_plus = values + [last_v]
    for t in reversed(range(len(rewards))):
        nonterminal = 0.0 if dones[t] else 1.0
        delta = rewards[t] + gamma * values_plus[t + 1] * nonterminal - values_plus[t]
        gae = delta + gamma * lam * nonterminal * gae
        advantages.insert(0, gae)

    returns = [adv + v for adv, v in zip(advantages, values)]

    # Convert buffers to tensors
    obs_tensor = torch.stack(observations)  # (N, obs_dim)
    act_tensor = torch.tensor([a.item() for a in actions], dtype=torch.long)
    adv_tensor = torch.tensor(advantages, dtype=torch.float32)
    ret_tensor = torch.tensor(returns, dtype=torch.float32)
    old_log_probs = torch.tensor(log_probs, dtype=torch.float32)

    # Normalize advantages
    adv_tensor = (adv_tensor - adv_tensor.mean()) / (adv_tensor.std() + 1e-8)

    # PPO policy and value update
    for _ in range(K_epochs):
        logits, value_pred = model(obs_tensor)
        dist = torch.distributions.Categorical(logits=logits)
        new_log_probs = dist.log_prob(act_tensor)
        entropy = dist.entropy().mean()

        # Probability ratio r_t(theta)
        ratio = torch.exp(new_log_probs - old_log_probs)

        # Clipped objective
        surr1 = ratio * adv_tensor
        surr2 = torch.clamp(ratio, 1 - clip_epsilon, 1 + clip_epsilon) * adv_tensor
        policy_loss = -torch.min(surr1, surr2).mean()

        # Value loss
        value_loss = nn.functional.mse_loss(value_pred.squeeze(-1), ret_tensor)

        # Total loss
        loss = policy_loss + vf_coef * value_loss - ent_coef * entropy

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

六、PPO 的超廣應(yīng)用：從機(jī)器人到 RLHF

Proximal Policy Optimization (PPO) 的通用性和穩(wěn)定性使其應(yīng)用領(lǐng)域非常廣泛：

主關(guān)鍵詞：Proximal Policy Optimization (PPO)輔關(guān)鍵詞：RLHF

七、PPO 的常見陷阱與調(diào)優(yōu)指南

盡管 PPO 強(qiáng)化學(xué)習(xí) 算法很穩(wěn)定，但它仍然需要仔細(xì)調(diào)優(yōu)，尤其是以下幾個關(guān)鍵超參數(shù)和容易踩的“坑”：

輔關(guān)鍵詞：剪輯替代目標(biāo)函數(shù), 廣義優(yōu)勢估計 (GAE)

總結(jié)與展望

Proximal Policy Optimization (PPO) 憑一己之力，成為了 強(qiáng)化學(xué)習(xí) 領(lǐng)域的“萬金油”算法。它繼承了 策略梯度 方法處理連續(xù)和高維動作的優(yōu)勢，又通過 剪輯替代目標(biāo)函數(shù) 解決了困擾已久的不穩(wěn)定問題。

PPO 簡單、可靠、易于實(shí)現(xiàn)，無論你是想嘗試機(jī)器人控制，還是想深入了解 RLHF 如何微調(diào) 大型語言模型，PPO 都是你繞不開的第一步。

盡管它不是最“樣本高效”的算法（因?yàn)樗枰匦率占瘮?shù)據(jù)），但它的穩(wěn)定性、可預(yù)測性和通用性，讓它成為工業(yè)界和學(xué)術(shù)界的首選基線。掌握 PPO，就是掌握了進(jìn)入現(xiàn)代 強(qiáng)化學(xué)習(xí) 大門的鑰匙。

互動提問： 你在自己的項(xiàng)目中遇到過 PPO 的哪些“坑”？你認(rèn)為在 RLHF 中，PPO 的 剪輯替代目標(biāo)函數(shù) 還能有哪些創(chuàng)新的應(yīng)用？

本文轉(zhuǎn)載自??Halo咯咯??    作者：基咯咯