Hunyuan-PromptEnhancer 是一款基于騰訊混元模型構(gòu)建的提示符重寫工具。它可以在保留原始意圖的同時(shí)重構(gòu)輸入提示符，使其更加清晰、層次分明、邏輯一致，適用于下游圖像生成或類似任務(wù)。

• 保留關(guān)鍵元素（主題/動(dòng)作/數(shù)量/樣式/布局/關(guān)系/屬性/文本等）的意圖。
• 鼓勵(lì)“總體-細(xì)節(jié)-總結(jié)”的敘述，首先描述主要元素，然后描述次要/背景元素，最后以簡(jiǎn)潔的風(fēng)格/類型總結(jié)。
• 具有優(yōu)雅回退的強(qiáng)大輸出解析：優(yōu)先考慮...；如果缺失，則刪除...并提取干凈的文本；否則回退到原始輸入。
• 可配置推理參數(shù)（溫度、top_p、max_new_tokens）用于平衡確定性和多樣性。

PromptEnhancer 能夠根據(jù)用戶提示生成高保真且風(fēng)格多樣的圖像。 該方法以 HunyuanImage 2.1 作為基礎(chǔ) T2I 模型，展現(xiàn)了其在照片級(jí)寫實(shí)主義、數(shù)字藝術(shù)、抽象幾何以及多語(yǔ)言圖文生成等各個(gè)領(lǐng)域的多功能性。示例展示了如何將極少的用戶輸入轉(zhuǎn)化為豐富細(xì)致的提示，從而生成高質(zhì)量的視覺輸出，彌合了用戶意圖與模型執(zhí)行之間的差距。

相關(guān)鏈接

• 論文：https://arxiv.org/pdf/2509.04545
• 項(xiàng)目：https://hunyuan-promptenhancer.github.io
• 模型：https://huggingface.co/tencent/HunyuanImage-2.1/tree/main/reprompt
• 代碼：??https://github.com/Hunyuan-PromptEnhancer/PromptEnhancer??

論文閱讀

• 論文名：PromptEnhancer: A Simple Approach to Enhance Text-to-Image Models via Chain-of-Thought Prompt Rewriting

文本到圖像 (T2I) 擴(kuò)散模型的最新進(jìn)展已展示出在生成高保真圖像方面的卓越能力。然而，這些模型通常難以忠實(shí)地呈現(xiàn)復(fù)雜的用戶提示，尤其是在屬性綁定、否定和組合關(guān)系等方面。這導(dǎo)致用戶意圖與生成的輸出之間嚴(yán)重不匹配。

為了應(yīng)對(duì)這一挑戰(zhàn)，論文推出了PromptEnhancer，這是一個(gè)新穎且通用的提示重寫框架，它可以增強(qiáng)任何預(yù)訓(xùn)練的 T2I 模型，而無需修改其權(quán)重。與依賴于特定模型微調(diào)或隱式獎(jiǎng)勵(lì)信號(hào)（如 CLIP 分?jǐn)?shù)）的先前方法不同，該框架將重寫器與生成器分離。通過強(qiáng)化學(xué)習(xí)訓(xùn)練思路鏈 (CoT) 重寫器來實(shí)現(xiàn)這一點(diǎn)，稱之為 AlignEvaluator 的專用獎(jiǎng)勵(lì)模型為指導(dǎo)。AlignEvaluator 經(jīng)過訓(xùn)練，可根據(jù) 24 個(gè)關(guān)鍵點(diǎn)的系統(tǒng)分類法提供明確且細(xì)粒度的反饋，這些分類法源自對(duì)常見 T2I 故障模式的全面分析。

通過優(yōu)化 CoT 重寫器以最大化 AlignEvaluator 的獎(jiǎng)勵(lì)，該框架學(xué)習(xí)生成更適合 T2I 模型解釋的提示。在 HunyuanImage 2.1 模型上進(jìn)行的大量實(shí)驗(yàn)表明，PromptEnhancer 顯著提升了各種語(yǔ)義和構(gòu)圖挑戰(zhàn)中的圖文對(duì)齊效果。此外論文引入了一個(gè)全新的高質(zhì)量人類偏好基準(zhǔn)，以促進(jìn)未來該方向的研究。

方法概述

PromptEnhancer 兩階段訓(xùn)練框架概述?？蚣苡?xùn)練一個(gè)通用的 Rewriter，以增強(qiáng)預(yù)訓(xùn)練的文本轉(zhuǎn)圖像 (T2I) 模型，而無需改變其權(quán)重。這是通過一個(gè)由專門的獎(jiǎng)勵(lì)模型引導(dǎo)的兩階段過程實(shí)現(xiàn)的。

• 第一階段：SFT 用于重寫器 初始化。CoT 重寫器首先通過監(jiān)督微調(diào) (SFT) 進(jìn)行初始化。在此階段，模型通過使用標(biāo)準(zhǔn)的下一個(gè)標(biāo)記預(yù)測(cè)損失對(duì)（用戶提示，重新提示）進(jìn)行訓(xùn)練，學(xué)習(xí)生成結(jié)構(gòu)化的、思路鏈?zhǔn)降捻憫?yīng)。這為后續(xù)的對(duì)齊階段奠定了堅(jiān)實(shí)的基礎(chǔ)。
• 第二階段：使用 GRPO 進(jìn)行策略對(duì)齊。然后，使用基于生成獎(jiǎng)勵(lì)策略優(yōu)化的強(qiáng)化學(xué)習(xí)循環(huán)對(duì)初始化后的重寫器進(jìn)行優(yōu)化。對(duì)于給定的提示，CoT 重寫器會(huì)生成多個(gè)候選重新提示。這些提示會(huì)被輸入到凍結(jié)的 T2I 模型中以生成圖像。然后，對(duì)齊評(píng)估器會(huì)評(píng)估每個(gè)（圖像，提示）對(duì)并提供標(biāo)量獎(jiǎng)勵(lì)。該獎(jiǎng)勵(lì)信號(hào)會(huì)優(yōu)化重寫器的策略，使其生成能夠最大程度地提高圖像與用戶意圖之間一致性的提示。

數(shù)據(jù)管道

Rewriter 訓(xùn)練數(shù)據(jù)的構(gòu)建和過濾流程概述。 該流程包括用戶提示模擬、基于 Gemini 的生成、人工參與的選擇以及自動(dòng)過濾，以確保高質(zhì)量。

數(shù)據(jù)分析

數(shù)據(jù)集中評(píng)估維度的分布。（a）24 個(gè)細(xì)粒度關(guān)鍵點(diǎn)的詳細(xì)百分比，按降序排列。（b）六個(gè)主要超類別的匯總百分比，由其組成關(guān)鍵點(diǎn)的百分比相加計(jì)算得出。兩張圖表中，顏色代表超類別，在視覺上將詳細(xì)點(diǎn)與其更廣泛的分類聯(lián)系起來。

實(shí)驗(yàn)結(jié)果

PromptEnhancer 對(duì) Prompt Following 準(zhǔn)確率影響的定量評(píng)估。 該圖展示了在 24 個(gè)不同語(yǔ)義類別中，使用和不使用 PromptEnhancer 框架的文本轉(zhuǎn)圖像生成準(zhǔn)確率的比較分析。左側(cè)面板顯示了每個(gè)類別的百分點(diǎn) (pp) 提升，突出顯示了語(yǔ)法理解和構(gòu)圖推理等領(lǐng)域的顯著提升（藍(lán)色），以及其他領(lǐng)域的回歸（紅色）。右側(cè)面板直接比較了絕對(duì)準(zhǔn)確率得分，展示了基線模型（“不使用 Ours”）與增強(qiáng)模型（“使用 Ours”）的性能。

PromptEnhancer 對(duì) Prompt Following 準(zhǔn)確率影響的定量評(píng)估。 該圖展示了在 24 個(gè)不同語(yǔ)義類別中，使用和不使用 PromptEnhancer 框架的文本轉(zhuǎn)圖像生成準(zhǔn)確率的比較分析。左側(cè)面板顯示了每個(gè)類別的百分點(diǎn) (pp) 提升，突出顯示了語(yǔ)法理解和構(gòu)圖推理等領(lǐng)域的顯著提升（藍(lán)色），以及其他領(lǐng)域的回歸（紅色）。右側(cè)面板直接比較了絕對(duì)準(zhǔn)確率得分，展示了基線模型（“不使用 Ours”）與增強(qiáng)模型（“使用 Ours”）的性能。

結(jié)論

PromptEnhancer 是一個(gè)新穎的框架，旨在幫助文本轉(zhuǎn)圖像 (T2I) 模型更好地理解復(fù)雜的用戶提示。T2I 模型通常難以遵循詳細(xì)的指令，導(dǎo)致生成的圖像與用戶的意圖不符。

PromptEnhancer會(huì)自動(dòng)將用戶的初始提示重寫為任何 T2I 模型都能輕松理解的更詳細(xì)的提示。關(guān)鍵創(chuàng)新在于一個(gè)使用思維鏈 (CoT) 流程的提示重寫器。使用強(qiáng)化學(xué)習(xí)來訓(xùn)練這個(gè)重寫器稱之為 AlignEvaluator 的自定義獎(jiǎng)勵(lì)模型為指導(dǎo)。該評(píng)估器針對(duì)圖文對(duì)齊的 24 個(gè)不同方面提供具體的、細(xì)粒度的反饋，使重寫器能夠?qū)W習(xí)如何創(chuàng)建高質(zhì)量的提示。

PromptEnhancer框架是通用的，可以與任何預(yù)先訓(xùn)練的 T2I 模型兼容，而無需對(duì)其進(jìn)行修改。實(shí)驗(yàn)表明，PromptEnhancer 在各種挑戰(zhàn)中顯著提高了生成的圖像與用戶提示之間的對(duì)齊程度。通過將提示增強(qiáng)任務(wù)與圖像生成任務(wù)分離，該工作提供了一種有效且可擴(kuò)展的解決方案，以提升 T2I 系統(tǒng)的控制力和準(zhǔn)確性。

本文轉(zhuǎn)載自??AIGC Studio??，作者：AIGC Studio