不管你是身處 AI 圈還是其他領(lǐng)域，或多或少的都用過大語言模型（LLM），當(dāng)大家都在贊嘆 LLM 帶來的各種變革時，大模型的一些短板逐漸暴露出來。

例如，前段時間，Google DeepMind 發(fā)現(xiàn) LLM 普遍存在「奉承（ sycophantic ）」人類的行為，即有時人類用戶的觀點客觀上不正確，模型也會調(diào)整自己的響應(yīng)來遵循用戶的觀點。就像下圖所展示的，用戶告訴模型 1+1=956446，然后模型遵從人類指令，認(rèn)為這種答案是對的。

圖源 https://arxiv.org/abs/2308.03958

實際上，這種現(xiàn)象普遍存在于很多 AI 模型中，原因出在哪里呢？來自 AI 初創(chuàng)公司 Anthropic 的研究者對這一現(xiàn)象進(jìn)行了分析，他們認(rèn)為「奉承」是 RLHF 模型的普遍行為，部分原因是人類偏好「奉承」響應(yīng)導(dǎo)致的。

論文地址：https://arxiv.org/pdf/2310.13548.pdf

接下來我們看看具體的研究過程。

像 GPT-4 等 AI 助手，都是經(jīng)過訓(xùn)練才能產(chǎn)生比較準(zhǔn)確的答案，其中絕大多數(shù)用到了 RLHF。使用 RLHF 微調(diào)語言模型可以提高模型的輸出質(zhì)量，而這些質(zhì)量由人類進(jìn)行評估。然而，有研究認(rèn)為基于人類偏好判斷的訓(xùn)練方式并不可取，模型雖然能產(chǎn)生吸引人類評估者的輸出，但實際上是有缺陷或不正確的。與此同時，最近的工作也表明，經(jīng)過 RLHF 訓(xùn)練的模型往往會提供與用戶一致的答案。

為了更好的了解這一現(xiàn)象，該研究首先探索了具有 SOTA 性能的 AI 助手是否在各種現(xiàn)實環(huán)境中會提供「奉承」的模型響應(yīng)，結(jié)果發(fā)現(xiàn) 5 個經(jīng)過 RLHF 訓(xùn)練的 SOTA AI 助手在自由格式文本生成任務(wù)中出現(xiàn)了一致的「奉承」模式。由于「奉承」似乎是 RLHF 訓(xùn)練模型的普遍行為，因此本文還探討了人類偏好在此類行為中的作用。

本文還對偏好數(shù)據(jù)中存在的「奉承」是否會導(dǎo)致 RLHF 模型中的「奉承」進(jìn)行了探索，發(fā)現(xiàn)更多的優(yōu)化會增加某些形式的「奉承」，但會減少其他形式的「奉承」。

大模型的「奉承」 程度及影響

為了評估大模型的「奉承」程度，并分析對現(xiàn)實生成有何影響，該研究對 Anthropic、OpenAI 和 Meta 發(fā)布的大模型的「奉承」程度進(jìn)行了基準(zhǔn)測試。

具體來說，該研究提出了 SycophancyEval 評估基準(zhǔn)。SycophancyEval 對現(xiàn)有大模型「奉承」評估基準(zhǔn)進(jìn)行了擴展。模型方面，該研究具體測試了 5 個模型，包括：claude-1.3 (Anthropic, 2023)、claude-2.0 (Anthropic, 2023)、GPT-3.5-turbo (OpenAI, 2022)、GPT-4 (OpenAI, 2023)、llama-2-70b-chat (Touvron et al., 2023)。

奉承用戶偏好

當(dāng)用戶要求大模型對一段辯論文本提供自由形式的反饋時，理論上講，論證的質(zhì)量僅取決于論證的內(nèi)容，然而該研究發(fā)現(xiàn)大模型會對用戶喜歡的論點提供更積極的反饋，對用戶不喜歡的論點提供更消極的反饋。

如下圖 1 所示，大模型對文本段落的反饋不僅僅取決于文本內(nèi)容，還受到用戶偏好的影響。

很容易被左右

該研究發(fā)現(xiàn)即使大模型提供了準(zhǔn)確的答案并表示它們對這些答案充滿信心，它們也經(jīng)常在用戶提出質(zhì)疑時修改答案，提供錯誤的信息。因此，「奉承」會損害大模型響應(yīng)的可信度和可靠性。

提供符合用戶信念的答案

該研究發(fā)現(xiàn)，對于開放式問答任務(wù)，大模型會傾向于提供與用戶信念一致的回答。例如，在下圖 3 中，這種「奉承」行為讓 LLaMA 2 準(zhǔn)確率降低了多達(dá) 27%。

模仿用戶的錯誤

為了測試大模型是否會重復(fù)用戶的錯誤，該研究探究大模型是否會錯誤地給出詩歌的作者。如下圖 4 所示，即使大模型可以回答出詩歌正確的作者，也會因用戶給出錯誤信息而回答錯誤。

理解語言模型中的阿諛奉承

該研究發(fā)現(xiàn)在不同的現(xiàn)實環(huán)境中多個大模型都展現(xiàn)出一致的「奉承」行為，因此推測這可能是 RLHF 微調(diào)造成的。因此，該研究分析了用于訓(xùn)練偏好模型 (preference model，PM) 的人類偏好數(shù)據(jù)。

如下圖 5 所示，該研究分析了人類偏好數(shù)據(jù)，探究了哪些特征可以預(yù)測用戶偏好。

實驗結(jié)果表明，在其他條件相同的情況下，模型響應(yīng)中的「奉承」行為會增加人類更喜歡該響應(yīng)的可能性。而用于訓(xùn)練大模型的偏好模型（PM）對大模型「奉承」行為的影響是復(fù)雜的，如下圖 6 所示。

最后，研究者探究了人類和 PM（PREFERENCE MODELS）模型傾向于真實回答的頻率是多少？結(jié)果發(fā)現(xiàn)，人類和 PM 模型更傾向于奉承的響應(yīng)，而不是正確的響應(yīng)。

PM 結(jié)果：在 95% 的情況下，奉承的響應(yīng)比真實響應(yīng)更受歡迎（圖 7a）。該研究還發(fā)現(xiàn)，PM 幾乎有一半的時間（45%）更喜歡奉承的響應(yīng)。

人類反饋結(jié)果：盡管人類傾向于更誠實的響應(yīng)而不是奉承的響應(yīng)，但隨著難度（misconception）的增加，他們選擇可靠性答案的概率會降低（圖 7b）。盡管匯總多個人的偏好可以提高反饋的質(zhì)量，但這些結(jié)果表明，僅通過使用非專家的人類反饋來完全消除奉承可能具有挑戰(zhàn)性。

圖 7c 表明，盡管針對 Claude 2 PM 的優(yōu)化減少了奉承，但效果并不明顯。

了解更多內(nèi)容，請查看原論文。