大家好，我是劉聰NLP。

大模型已經展現出了較強的文本生成能力，但隨著使用場景變得越加復雜和嚴格，除了避免生成誤導或不當言論內容外，往往還希望可以滿足用戶的特殊需求。而可控文本生成就是為了在保持文本生成有用性、流暢性和多樣性的同時，保證文本符合預定的控制條件，例如安全性、主題一致性、語言風格等。

今天給大家帶來一篇綜述，介紹大模型可控文本生成（Controllable Text Generation, CTG）的相關技術。

Paper: https://arxiv.org/abs/2408.12599
Github: https://github.com/IAAR-Shanghai/CTGSurvey

• 以Transformer結構的大模型為重點，關注為大模型量身定制的CTG方法
• 探索如何將外部控制條件集成到CTG過程中、如何定義更有效和有用的文本生成
• 將CTG任務分為兩個類別：內容控制（或語言控制/硬控制）和屬性控制（或語義控制/軟控制）
• 將CTG方法分為兩個階段：訓練階段方法（再訓練、微調、強化學習）和推理階段（提示工程、潛在空間操縱和解碼時間干預）方法。

可控文本生成的任務

在CTG領域，任務可以大致分為兩種類型：內容控制（或語言控制/硬控制）和屬性控制（或語義控制/軟控制）。

• 內容控制（或語言控制/硬控制）

• 結構控制：（1）特定格式：生成符合特定格式要求的文本；（2）組織結構：生成文本具有一定的段落劃分等；（3）長度控制：生成文本的整體長度滿足特定要求。
• 詞匯控制：（1）必填詞：生成文本中必須要包含一組預定的關鍵詞；（2）禁止詞：生成文本中機制出現潛在有害或不適當的術語。

• 屬性控制（或語義控制/軟控制）
• 安全控制：（1）去毒：生成文本應避免出現任何形式的有害內容；（2）遵守法律法規：生成文本應遵守所有適用的法律法規要求，例如隱私法、版權法等。
• 情緒控制：生成文本需要具有明確的情感傾向，例如積極、消極或中立。
• 風格控制：（1）通用樣式：通用樣式控制保證生成的文本滿足特定場合和行業的需求；（2）個人風格：主要涉及生成模仿特定寫作風格、個人習慣表達、個人偏好性的文本。
• 主題控制：生成文本嚴格遵循指定的主題，使內容與目標受眾的預期知識和興趣保持一致。

可控文本生成的方法

CTG方法根據干預模型生成的階段分別為訓練階段和推理階段。

• 訓練階段

再訓練：當預訓練模型不充分或需要修改模型架構時，使用專門設計的控制條件數據集從頭開始訓練模型，以更好地適應這些控制需求。

微調：利用較少的數據和計算資源，通過專門的數據集將所需的控制屬性合并到模型參數中來調整預訓練模型。

強化學習：采用獎勵信息引導模型輸出特定控制條件的文本。

• 預測階段

提示工程：通過修改輸入提示來指導模型的輸出。

• 潛在空間操縱：通過調整模型隱藏層內的激活狀態來控制生成的文本。

解碼干預：通過修改生成輸出的概率分布或在解碼過程中應用特定規則來影響Token的選擇，以改變輸出文本，包括分類器引導、類條件語言模型、基于能量的模型、模型自反饋和外部知識。

可控文本生成的評估

CTG任務的評估可分為自動評估、人工評估和基于LLM的評估三種。

• 自動評估

一般指標：基于N-Gram重疊的指標、基于語言模型的指標、基于距離的指標;

特殊任務指標：情感、話題、毒性；

• 人工評估
• 流暢度
• 連貫性
• 話題性
• 質量情況
• 屬性相關度
• LLM評估

目前可控文本生成的評測榜單主要包括：CTRLEval、ConGenBench、 CoDI-Eval、FOFO。

本文轉載自?? NLP工作站??，作者： 劉聰NLP