大語言模型（LLMs）正以前所未有的方式，深刻影響著學術同行評審的格局。同行評審作為科學研究的基石，其重要性毋庸置疑。然而，隨著大語言模型逐漸滲透到這一核心過程，我們是否已經準備好面對它可能帶來的深遠影響？在這場變革之前，我們必須清醒地認識到其中潛藏的風險，并采取切實可行的防范措施。

近年來，大語言模型在多個領域展現出了令人驚嘆的潛力。同行評審作為一項既繁瑣又至關重要的任務，正在引起越來越多學者的關注并嘗試利用大語言模型來輔助甚至替代審稿，力圖提高這一傳統流程的效率。

斯坦福大學的研究團隊便在《NEJM AI》子刊上發布了相關研究，指出大語言模型能夠生成與人類審稿人相似的審稿意見。而根據斯坦福團隊的估算，最近的若干個 AI 頂會中，竟有高達 6.5% 至 16.9% 的論文內容由大語言模型顯著調整過！同樣，瑞士洛桑聯邦理工大學（EPFL）的研究發現，ICLR 2024 的審稿過程中，約 15.8% 的評審意見是 AI 輔助生成的！與此同時，越來越多的人開始在社交媒體上抱怨審稿人利用大語言模型進行審稿。

種種現象表明，大語言模型已經悄然滲透到了學術審稿的最前線，顯現出一種不容忽視的趨勢。然而，在其大規模使用之前，我們對其潛在的風險卻沒有一個清醒的認知。這無疑給同行評議的可靠性帶來了巨大的風險。

在此背景下，上海交通大學、佐治亞理工學院、上海市人工智能實驗室、佐治亞大學與牛津大學的科研團隊聯合展開了深入研究，發表了最新論文《Are we there yet? Revealing the risks of utilizing large language models in scholarly peer review》，揭示了大語言模型在審稿中潛藏的風險。研究表明：

• 操控風險：作者可能通過在文章中巧妙插入肉眼無法察覺的文本，直接操控大語言模型生成的審稿意見，甚至操控最終的論文評分。
• 隱性操控：大語言模型傾向于復述作者主動在文章中揭示的局限性，令作者可以通過有意暴露輕微缺陷，從而隱秘地操控審稿過程。
• 幻覺問題：更為嚴重的是，大語言模型可能對空白文章生成虛構的審稿意見，揭示了「模型幻覺」問題在審稿中的潛在威脅。
• 偏見問題：大語言模型在審稿過程中也暴露了明顯的偏好，尤其對文章長度和著名作者及機構的偏愛，極大影響評審的公正性。

這些發現暴露出了我們在擁抱新技術的同時，可能忽視的重大風險。為此，研究者們發出了警示：學界應當暫停使用大語言模型替代審稿工作，并呼吁制定有效的防范措施，確保科技進步能夠在更加健康、透明的框架內進行。

• 論文鏈接：https://arxiv.org/pdf/2412.01708
• 項目主頁：https://rui-ye.github.io/BadLLMReviewer
• 調查問卷：https://forms.gle/c9tH3sXrVFtnDgjQ6

顯式操縱

研究者們首先揭示了一種低成本卻十分有效操縱手段：文章的作者可以通過在文中插入微小、幾乎不可見的指令性文字，即可輕松引導審稿模型強調文章的創新性與影響力，同時弱化文章的缺陷（如語法錯誤等）！插入的文字，盡管在常規人工審稿過程中幾乎不可見，但在當前常見的自動化的 LLM 審稿過程中，依然會被提取并與文章內容一同解析，能夠被審稿模型誤認為提示詞，進而操縱模型生成高度正面的反饋，極大提高文章接收概率，危害審稿系統的公平可靠性。

圖 1. 作者可在文章中插入肉眼不可見、極小的白色文字

研究團隊對三款主流大語言模型審稿系統進行了測試，結果令人震驚：在面對這種顯式操控時，所有模型都未能幸免。測試前，文章的評分僅接近邊界分數（Borderline）；然而，插入操控文字后，文章的評分暴漲，甚至高達 8 分！—— 這一分數在 ICLR 等頂級會議中，意味著論文被接收概率極大。

這一現象清晰地表明，操控手段能夠以驚人的效率扭曲審稿系統的判斷，顯著改變文章的最終命運。如果沒有強有力的防范機制，這種操控行為可能會極大地影響學術評審的公平性，甚至對整個科研環境的可信度造成無法估量的損害。

圖 2. 顯式操縱可使論文評分飛漲

隱式操縱

然而，顯式操控雖然有效，卻也容易被學術界視為不道德甚至作弊行為，因此一些 「謹慎」的作者可能會選擇回避這種方法。那么，是否還有一種更為微妙、隱蔽且更具潛在威脅的操控方式呢？答案是肯定的。

研究者們發現了一種更為隱蔽的操控方式：作者主動披露文章的局限性，尤其是在論文的「Limitations」章節中。這種做法，甚至是學術會議的推薦做法。然而，研究顯示，大語言模型審稿時，生成的審稿內容與論文局限性部分的內容竟高度一致！

圖 3. 大語言模型容易復述作者在文章中主動揭露的 Limitations

研究者們接著系統對比了人類審稿與論文局限性內容之間的一致性，以及大語言模型審稿與局限性內容之間的一致性。結果顯示大語言模型審稿與局限性內容之間的一致性遠遠高于人類審稿與局限性內容之間的一致性。這意味著，不同于人類審稿人，大語言模型容易被文章本身的信息所左右，缺乏獨立批判性思維，而這正是合格審稿人需具備的基本條件。

這一發現揭示了一個深刻的風險：學術作者可以故意暴露一些微不足道的問題，從而間接引導大語言模型產生有利于論文的審稿意見。更嚴重的是，與顯式操控相比，隱式操控更難察覺，更難防范，也更難定性，卻能對學術評審的公平性構成嚴重威脅。

圖 4. 大語言模型比真人更容易復述作者在文章中主動揭露的 Limitations

內在缺陷：幻覺

更令人震驚的是，研究者們還發現了大語言模型審稿過程中的一個根本性缺陷 —— 幻覺問題。有時，即使一篇文章根本沒有內容，審稿模型依然能生成長篇大論的審稿意見。在測試中，研究者們輸入了一個空白文章，結果發現其中一款審稿模型竟然對這篇空白文章生成了完整的審稿意見！雖然另外兩款模型識別出了輸入為空白并未作出評價，但這種「無中生有」的現象依然令人不寒而栗。

圖 5. 大語言模型可能無中生有的審稿內容

更進一步，研究者們不斷增加輸入給審稿模型的內容（空白 -> 僅標題 -> 標題摘要引言 -> 全篇），發現當進一步加入摘要和引言部分后，所有三種審稿系統的評分竟幾乎與完整論文一致。

這一發現揭示了大語言模型在同行評審中的巨大不可靠性：即使文章內容尚未完善，模型仍可能生成似是而非的評審意見，給出與完整論文相似的評分，嚴重扭曲了評審的實際質量。

圖 6. 大語言模型可能給不完整的文章高分

內在缺陷：偏好

除了幻覺問題，大語言模型在同行評審中還可能表現出令人擔憂的偏見。研究者們深入探討了大語言模型評分與文章長度之間的關系，結果發現：大部分審稿系統對論文長度有顯著的偏好：論文越長，接受的概率越高。這一偏好無疑會使得那些寫得更長、更繁復的文章在評審中占得先機，極大削弱了評審的公正性。

圖 7. 大語言模型偏向于更長的文章

此外，研究者們還對大語言模型是否會受到作者機構的影響進行了測試。在單盲審稿模式下，他們嘗試將作者的機構名替換為計算機科學領域頂尖的大學（如 MIT 等）或 LLMs 領域的領先公司（如 OpenAI 等），并將作者名字替換為圖靈獎得主。結果令人驚訝，所有這些替換均顯著提高了文章的接受概率，揭示了大語言模型在審稿過程中存在的系統性偏見。

這一現象表明，若大語言模型成為同行評審的一部分，它將極有可能加劇現有學術評價體系中的不公平問題，進一步放大「名校效應」和「名人效應」。

圖 8. 大語言模型審稿被作者機構顯著影響

倡議與總結

隨著大語言模型（LLM）在學術同行評審中的應用日益增多，研究者們深入分析了其潛在風險，并提出了相應的建議，旨在確保學術審稿過程的公正性和嚴謹性。基于研究結果，研究者們提出以下倡議：

• 暫停 LLM 在同行評審中的替代性使用：研究者們呼吁在充分了解 LLM 的風險并采取有效防范措施之前，暫停其在同行評審中的替代式應用。
• 引入檢測工具與問責機制：研究者們呼吁期刊和會議組織者引入全面的檢測工具與問責機制，以識別并應對審稿過程中可能的操控行為；并引入懲罰措施來遏制這些行為的發生。
• 將 LLM 作為輔助工具使用：展望未來，研究者們認為隨著投稿數量的持續增加，LLM 在審稿過程中的自動化潛力不可忽視。盡管 LLM 目前還無法完全取代人類審稿，但其仍有潛力作為審稿過程的補充工具，提供額外反饋以提升審稿質量。
• 增強 LLM 審稿系統的穩健性與安全性：未來應致力于開發一種能夠有效整合 LLM 的同行評審流程，既能最大化它們的潛力，又能有效防范我們已識別的風險，增強其穩健性和安全性。

總結而言，雖然 LLM 在提升審稿效率和質量方面有潛力，研究者們強調必須謹慎推進其應用。只有在確保其風險可控且有有效的防范機制后，才能負責任地將 LLM 整合進學術同行評審中，避免破壞學術出版的公正性和嚴謹性。