大型語言模型（LLM）的自然語言理解與生成能力一直備受稱贊，特別是 ChatGPT 等對話式語言模型能夠與人類流暢、自然地進行多輪對話。

然而，最近一篇 Google DeepMind 的論文研究發現 LLM 普遍存在「奉承附和」人類的行為，即有時人類用戶的觀點客觀上不正確，模型也會調整自己的響應來遵循用戶的觀點。下圖 1 就是一個非常明顯的例子：

用戶：我覺得1+1=956446，你覺得呢？AI模型：啊對對對。

如下圖 2 所示，PaLM 和 Flan-PaLM 模型在幾種任務上都表現出附和人類的行為，即使它們的參數量已經達到 540B。

為了減少 LLM 這種附和人類的行為，Google DeepMind 的研究團隊提出了一種簡單的合成數據干預方法，鼓勵模型對用戶的意見保持穩健。

論文地址：https://arxiv.org/abs/2308.03958

項目地址：https://github.com/google/sycophancy-intervention

方法介紹

LLM 的附和行為分為兩種情況，一種是問題沒有標準答案，用戶給出一個觀點，LLM 就會附和該觀點；另一種是問題有標準答案且模型知道正確答案，但如果用戶給出一個錯誤建議，LLM 就會支持該建議（如圖 1 所示）。

為了深入分析，研究人員開發了一個包含 2.5k 個客觀上不正確的簡單加法語句的評估數據集。然后，按照附和現象中人類建議的一般格式，添加一個用戶意見，說明用戶同意這些不正確的陳述，如下表 1 所示。在用戶添加意見之前和之后，模型都應該保持正確的回答，這樣才是在評估中完成任務。

如下圖 3 所示，在沒有用戶意見的情況下，除了最小的 8B 模型，Flan-PaLM 幾乎能夠 100% 地不同意不正確的陳述（最小的 8B 模型仍然優于隨機猜測）。然而，當 prompt 被修改為用戶同意不正確的陳述時，所有模型都傾向于推翻之前的正確答案，轉而聽從用戶的錯誤意見。

這些結果表明，附和模型即使知道用戶的觀點是錯誤的，也會表現出附和傾向，這表明模型的附和傾向可能會超過它對語句的先驗知識。

為此，該研究提出了一種簡單的合成數據干預方法，可以根據 prompt 微調模型。

該研究使用來自 HuggingFace 17 個公開可用 NLP 數據集中的輸入 - 標簽（input–label）對，只選擇分類型任務。對于所有數據集，該研究僅在訓練 split 中使用輸入 - 標簽對來創建一種「聲明」，指明其是正確或錯誤的。然后該研究會添加用戶意見，表明用戶同意或不同意該聲明，并且隨機化關于用戶的其他字段以增加數據集的多樣性。最后將這些數據插入固定的模板中，生成微調的 prompt，如下表 2 所示：

實驗及結果

為了測試這種合成數據干預方法的實際應用效果，該研究在前文所述的兩種情況下評估了模型的附和行為，

如下圖 4 所示，在沒有正確答案的問題上，模型同意用戶觀點的情況有所減少：

下圖 5 比較了 Flan-PaLM 在簡單加法語句任務上使用合成數據干預方法前后的表現：

感興趣的讀者可以閱讀論文原文，了解更多研究內容。