論文鏈接：https://arxiv.org/pdf/2508.20751項目鏈接：https://codegoat24.github.io/UnifiedReward/Pref-GRPO 

亮點直擊

• 提出分析視角，揭示獎勵欺騙（Reward Hacking）的根本原因是“虛假優(yōu)勢問題”；
• 基于上述分析，提出了 PREF-GRPO—— 首個基于成對偏好獎勵的 GRPO 方法，用于穩(wěn)定的文本生成圖像（T2I）強化學(xué)習(xí)。該方法將傳統(tǒng)的“最大化絕對獎勵分?jǐn)?shù)”的優(yōu)化目標(biāo)，重新表述為“擬合成對偏好”；
• PREF-GRPO 能夠識別圖像質(zhì)量中的細(xì)微差異，從而帶來更穩(wěn)定、更具方向性的優(yōu)化效果，提升訓(xùn)練穩(wěn)定性并緩解獎勵欺騙問題；
• 構(gòu)建了 UNIGENBENCH，一個涵蓋多維評估指標(biāo)與多樣化提示主題的評測基準(zhǔn)，同時提供了一套高效的基準(zhǔn)構(gòu)建與 T2I 模型評估流程；

總結(jié)速覽

解決的問題

1. 獎勵欺騙（Reward Hacking）問題：當(dāng)前 T2I 模型訓(xùn)練中廣泛采用基于點對點得分的獎勵模型，通過歸一化得分進(jìn)行策略優(yōu)化。然而，這種方式容易出現(xiàn)“虛假優(yōu)勢”現(xiàn)象，即生成圖像間得分差異微小，在歸一化后被放大，導(dǎo)致模型過度優(yōu)化無意義的細(xì)節(jié)，反而損害圖像質(zhì)量，造成獎勵欺騙。
2. 評估維度粗糙、覆蓋不足：現(xiàn)有 T2I 基準(zhǔn)測試多為粗粒度評估，缺乏對模型在各個語義子維度上的細(xì)致分析，限制了對模型能力的全面理解與比較。

提出的方案

1. PREF-GRPO 方法：提出首個基于成對偏好獎勵（pairwise preference reward）的 GRPO 強化學(xué)習(xí)方法，將優(yōu)化目標(biāo)從“最大化得分”轉(zhuǎn)變?yōu)椤皵M合偏好”，緩解獎勵欺騙問題，提升訓(xùn)練穩(wěn)定性。
2. UNIGENBENCH 基準(zhǔn)測試集：構(gòu)建統(tǒng)一的 T2I 評測基準(zhǔn)，涵蓋 600 條提示語，5 大主題、20 個子主題，支持在 10 個主評估維度和 27 個子維度上進(jìn)行細(xì)粒度評估，提升對模型性能的全面性判斷。

應(yīng)用的技術(shù)

1. 成對偏好獎勵建模：通過對生成圖像組內(nèi)圖像進(jìn)行兩兩比較，計算勝率作為獎勵信號，使模型更關(guān)注圖像質(zhì)量的真實差異。
2. Group Relative Policy Optimization（GRPO）強化學(xué)習(xí)框架：以組為單位進(jìn)行策略優(yōu)化，結(jié)合偏好建模提升訓(xùn)練效果。
3. 多模態(tài)大語言模型（MLLM）輔助評估：利用 MLLM 的圖文理解能力，構(gòu)建并執(zhí)行細(xì)粒度的 T2I 模型評估流程。

達(dá)到的效果

1. 緩解獎勵欺騙，提升訓(xùn)練穩(wěn)定性：PREF-GRPO 能夠有效識別圖像質(zhì)量中的細(xì)微差異，避免模型因虛假優(yōu)勢陷入過擬合，訓(xùn)練過程更加穩(wěn)定可靠。
2. 更具方向性的優(yōu)化過程：相比傳統(tǒng)點對點評分，PREF-GRPO 提供更穩(wěn)定的優(yōu)化信號，提升 T2I 模型在細(xì)節(jié)上的生成質(zhì)量。
3. 實現(xiàn)全面細(xì)致的模型評估：UNIGENBENCH 支持對 T2I 模型在多個語義維度上的系統(tǒng)性評估，揭示開源與閉源模型在不同任務(wù)下的優(yōu)勢與短板。
4. 推動 T2I 模型訓(xùn)練范式轉(zhuǎn)變：通過 PREF-GRPO 和 UNIGENBENCH，展示了更加穩(wěn)定、高效、可控的 T2I 訓(xùn)練與評估新范式，為未來研究提供了實用工具與理論基礎(chǔ)。

PREF-GRPO

本工作引入了 PREF-GRPO，旨在為文本生成圖像（T2I）任務(wù)建立一個更穩(wěn)定的強化學(xué)習(xí)（RL）范式，以緩解現(xiàn)有獎勵得分最大化 GRPO 方法中的獎勵欺騙問題。在本節(jié)中，本文首先介紹 GRPO 應(yīng)用于流匹配模型的核心思想，然后分析獎勵欺騙的根本原因，即虛假優(yōu)勢，最后描述本文提出的基于成對偏好獎勵的 GRPO 方法。

流匹配 GRPO

策略通過最大化正則化目標(biāo)函數(shù)進(jìn)行更新：

其中：

其中

為了滿足 GRPO 的隨機探索需求，(Liu et al., 2025) 將確定性的 Flow-ODE  轉(zhuǎn)換為等價的 SDE。

獎勵分?jǐn)?shù)最大化 GRPO 方法中的虛假優(yōu)勢

現(xiàn)有基于流匹配的 GRPO 方法使用點式獎勵模型（RMs）對每一步訓(xùn)練中生成的一組圖像進(jìn)行評分。然后，通過將每張生成圖像的獎勵分?jǐn)?shù)相對于該組進(jìn)行歸一化來計算其優(yōu)勢，如公式 3 所示。該歸一化操作使得一組樣本中的優(yōu)勢標(biāo)準(zhǔn)化。

對小幅獎勵差異的過度放大，即“虛假優(yōu)勢”，會帶來若干不利影響：(1) 過度優(yōu)化：即使是極小的分?jǐn)?shù)差異也被夸大，導(dǎo)致策略過度更新并采取極端行為，即獎勵欺騙（見下圖 2）；(2) 對獎勵噪聲的敏感性：優(yōu)化過程對獎勵模型中的偏差或不穩(wěn)定性變得高度敏感，使得策略傾向于利用模型缺陷，而非對齊真實偏好。

基于成對偏好的獎勵 GRPO 方法

為緩解現(xiàn)有方法中的虛假優(yōu)勢問題，本文提出了 PREF-GRPO，它利用成對偏好獎勵模型（Pairwise Preference Reward Model, PPRM）將優(yōu)化目標(biāo)重新表述為成對偏好擬合。PREF-GRPO 不再依賴絕對獎勵分?jǐn)?shù)，而是評估生成圖像之間的相對偏好，模擬人類在比較兩張相似圖像時的評估過程。

這種方法使得獎勵信號能夠更好地捕捉圖像質(zhì)量中的細(xì)微差異，為策略優(yōu)化提供更穩(wěn)定且更具信息量的優(yōu)勢，同時降低對獎勵欺騙的敏感性。

與獎勵分?jǐn)?shù)最大化相比，Pref-GRPO 提供了若干優(yōu)勢：(1) 獎勵方差放大：通過將絕對獎勵分?jǐn)?shù)轉(zhuǎn)換為成對勝率，Pref-GRPO 在生成圖像組中自然地增加了獎勵的方差。高質(zhì)量樣本的勝率趨近于 1，而低質(zhì)量樣本則趨近于 0，從而產(chǎn)生一個更具區(qū)分性和更穩(wěn)健的獎勵分布，有助于優(yōu)勢估計，并緩解獎勵欺騙問題。(2) 對獎勵噪聲的魯棒性：由于優(yōu)化依賴于相對排序而非原始分?jǐn)?shù)，Pref-GRPO 大幅減輕了小幅獎勵波動或獎勵模型偏差所帶來的放大影響。這降低了策略利用獎勵信號缺陷的可能性，提升了訓(xùn)練穩(wěn)定性。(3) 與人類偏好的對齊：成對比較的形式模擬了人類的感知評估過程。當(dāng)比較兩張質(zhì)量相近的圖像時，人類判斷本質(zhì)上是相對的而非絕對的。通過模擬這一過程，Pref-GRPO 能捕捉點對評分常忽略的細(xì)粒度質(zhì)量差異，從而為策略改進(jìn)提供更真實可靠的信號。

UNIGENBENCH

現(xiàn)有基準(zhǔn)測試存在以下局限性：(1) 粗粒度評估維度下的覆蓋有限：通常每個評估維度下僅包含少數(shù)子維度，無法全面反映模型能力。例如，如下圖 4 所示，當(dāng)前基準(zhǔn)測試在“關(guān)系”和“語法”維度下僅包含一個子維度，導(dǎo)致在這些方面對模型性能的評估不完整且可能具有誤導(dǎo)性。

(2) 缺乏子維度級別的評估：僅提供主評估維度的分?jǐn)?shù)，未對各個子維度進(jìn)行評估。這種缺乏細(xì)粒度的評估限制了解釋性，阻礙了對文本生成圖像（T2I）模型優(yōu)勢與劣勢的深入理解。

因此提出 UNIGENBENCH，這是一個統(tǒng)一的圖像生成基準(zhǔn)測試，涵蓋多樣的提示主題與全面的細(xì)粒度評估標(biāo)準(zhǔn)。本文將首先介紹基準(zhǔn)測試中的提示主題與評估維度設(shè)計，隨后詳細(xì)說明本文基于多模態(tài)大模型（MLLM）的自動提示生成與 T2I 評估流程。

提示主題與評估維度設(shè)計

如下圖 3 所示，UNIGENBENCH 涵蓋五大類提示主題：藝術(shù)（Art）、插畫（Illustration）、創(chuàng)意發(fā)散（Creative Divergence）、設(shè)計（Design）以及電影與敘事（Film & Storytelling），進(jìn)一步細(xì)分為 20 個子類別，同時包含多樣的主體類別，包括動物、物體、擬人角色、場景，以及一個“其他”類別，用于涵蓋特殊實體（例如科幻主題中的機器人）。與現(xiàn)有基準(zhǔn)中的粗粒度指標(biāo)不同，本文定義了 10 個主評估維度與 27 個子維度，覆蓋了諸如邏輯推理、面部表情、代詞指代等常被忽視的方面，從而實現(xiàn)細(xì)粒度評估并對齊人類意圖。

基準(zhǔn)構(gòu)建與評估流程

在建立了多樣的提示主題、主體類別和評估維度之后，本文進(jìn)一步構(gòu)建了一個基于多模態(tài)大語言模型（MLLM）的自動化流程，以實現(xiàn)如下圖 5 所示的基準(zhǔn)框架。該流程服務(wù)于兩個互補目標(biāo)：

• 系統(tǒng)性、可控地生成大規(guī)模、多樣化且高質(zhì)量的提示；
• 實現(xiàn)可擴展、可靠且細(xì)粒度的文本生成圖像（T2I）模型評估。

通過利用 MLLM 的推理與感知能力，該流程無需昂貴的人類標(biāo)注，即可在基準(zhǔn)構(gòu)建與模型評估中同時確保效率與可靠性。

提示與測試點描述生成

T2I 模型評估

實驗

實現(xiàn)細(xì)節(jié)

基線模型：采用 FLUX.1-dev 作為基礎(chǔ)模型，并在 PREF-GRPO 中使用 UnifiedReward-Think 作為成對偏好獎勵模型（RM）。用于獎勵最大化基線比較的模型包括 HPS、CLIP 和 UnifiedReward（UR）。

訓(xùn)練與評估：使用上圖 5(a) 中的流程生成 5000 條訓(xùn)練提示，并在 UNIGENBENCH 上對模型進(jìn)行評估。每個測試提示生成四個輸出用于評估。跨領(lǐng)域語義一致性通過 GenEval 和 T2I-CompBench 評估，圖像質(zhì)量則通過 UR、ImageReward、PickScore 和 Aesthetic 進(jìn)行評估。

PREF-GRPO 的結(jié)果

定量結(jié)果：如下表 1 和下表 2 所示，PREF-GRPO 在語義一致性和圖像質(zhì)量方面均表現(xiàn)出顯著提升。例如，在 UNIGENBENCH 上，相較于基于 UR 的得分最大化方法，PREF-GRPO 的總體得分提升了 ，在 Text 維度提升了 ，在 Logical Reasoning 維度提升了 。在圖像質(zhì)量評估中，本文的方法也展現(xiàn)出全面優(yōu)勢。

獎勵欺騙分析：可視化了基于 UR 的得分最大化方法與 PREF-GRPO 在訓(xùn)練過程中圖像質(zhì)量得分的演變。如上圖 2 所示，盡管基于 UR 的模型得分增長迅速，但中間結(jié)果顯示圖像質(zhì)量實際在下降。相比之下，PREF-GRPO 雖然擬合成對偏好，得分增長相對緩慢，但在視覺質(zhì)量上表現(xiàn)出持續(xù)穩(wěn)定的提升，并有效緩解了獎勵欺騙。

UNIGENBENCH 基準(zhǔn)測試結(jié)果

如下表 3 所示，閉源模型表現(xiàn)最為強勁：GPT-4o 和 Imagen-4.0-Ultra 在大多數(shù)維度上領(lǐng)先，尤其在邏輯推理、文本渲染、關(guān)系理解和復(fù)合任務(wù)上，顯示出強大的語義對齊與理解能力。開源模型正在不斷進(jìn)步：Qwen-Image 和 HiDream 在開源模型中持續(xù)排名前列，在動作、布局和屬性等維度展現(xiàn)出顯著優(yōu)勢，正在逐步縮小與閉源模型之間的差距。盡管如此，仍存在一些局限性。大多數(shù)開源和閉源模型在最具挑戰(zhàn)性的維度上尚未達(dá)到飽和，特別是在邏輯推理與文本渲染方面，仍有較大提升空間。此外，開源模型在各維度上通常表現(xiàn)出更大的不穩(wěn)定性，常常在語法與復(fù)合任務(wù)上落后。

結(jié)論

PREF-GRPO，首個基于成對偏好獎勵的 GRPO 方法，提供了更穩(wěn)定的文本生成圖像（T2I）強化學(xué)習(xí)范式。此外，引入了 UNIGENBENCH，這是一個統(tǒng)一的 T2I 生成基準(zhǔn)，涵蓋了全面的評估維度與多樣化的提示主題。大量實驗驗證了本文方法的有效性以及該基準(zhǔn)的可靠性。

本文轉(zhuǎn)自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/nViwYBhdQWKnhjnvSKePRg??