自然語言生成 (NLG) 技術的最新進展顯著提高了大型語言模型生成文本的多樣性、控制力和質量。一個值得注意的例子是 OpenAI 的 ChatGPT，它在回答問題、撰寫電子郵件、論文和代碼等任務中展示了卓越的性能。然而，這種新發現的高效生成文本的能力也引起了人們對檢測和防止大型語言模型在網絡釣魚、虛假信息 和學術造假等任務中濫用的擔憂。例如，由于擔心學生利用 ChatGPT 寫作業，紐約公立學校全面禁止了 ChatGPT 的使用，媒體也對大型語言模型產生的假新聞發出警告。這些對大型語言模型 濫用的擔憂嚴重阻礙了自然語言生成在媒體和教育等重要領域的應用。

最近關于是否可以正確檢測大型語言模型生成的文本以及如何檢測的討論越來越多，這篇文章對現有檢測方法進行了全面的技術介紹。

• 論文地址：https://github.com/datamllab/The-Science-of-LLM-generated-Text-Detection
• 相關研究地址：https://github.com/datamllab/awsome-LLM-generated-text-detection/tree/main

現有的方法大致可分為兩類：黑盒檢測和白盒檢測。

大型語言模型生成文本檢測概述

• 黑盒檢測方法對大型語言模型通常只有 API 級別的訪問權限。因此，這類方法依靠于收集人類和機器的文本樣本來訓練分類模型；
• 白盒檢測，這類方法擁有對大型語言模型的所有訪問權限，并且可以通過控制模型的生成行為或者在生成文本中加入水印（watermark）來對生成文本進行追蹤和檢測。

在實踐中，黑盒檢測器通常由第三方構建，例如 GPTZero，而白盒檢測器通常由大型語言模型開發人員構建。

大型語言模型生成的文本檢測分類學

黑盒檢測

黑盒檢測一般有三個步驟，分別是數據收集，特征選擇和模型建立。

對于人類文本的收集，一種方法是招募專業人員進行數據采集，但是這種方法費時費力，不適于大型數據集的收集，更加高效的方法是利用現有的人類文本數據，比如從維基百科上收集各種專家編輯的詞條，或者是從媒體上收集數據，例如 Reddit。

特征的選取一般分為統計特征，語言特征和事實特征。其中統計特征一般是用來檢查大型語言模型生成文本是否在一些常用的文本統計指標上于人類文本不同，常用的有 TFIDF、齊夫定律等。語言特征一般是找一些語言學特征，比如詞性，依存分析，情感分析等。最后，大型語言模型常常會生成一些反事實的言論，因此事實驗證也可以提供一些區分大型語言模型生成文本的信息。

現有的分類模型一般分為傳統的機器學習模型，例如 SVM 等。最新的研究傾向于利用語言模型來做主干， 例如 BERT，RoBERTa， 并且取得了更高的檢測表現。

這兩種文本之間有明顯的不同。human-written 文本來自 Chalkbeat New York。

白盒檢測

白盒檢測一般默認是大型語言模型開發人員提供的檢測。不同于黑盒檢測，白盒檢測對模型擁有完全訪問權力, 因此能通過改變模型的輸出來植入水印，以此達到檢測的目的。

目前的檢測方法可以分為 post-hoc 水印和 inference time 水印：

• 其中 post-hoc 水印是在大型語言模型生成完文本后，再在文本中加入一些隱藏的信息用于之后的檢測；
• Inference time 水印則是改變大型語言模型對 token 的采樣機制來加入水印，在大型語言模型生成每一個 token 的過程中，其會根據所有 token 的概率和預設的采樣策略來選擇下一個生成的詞，這個選擇的過程就可以加入水印。

Inference time 水印

作者擔憂

（1）對于黑盒模型，數據的收集是非常關鍵的一步，但是這個過程非常容易引入偏見（biases）。例如現有的數據集主要集中在問答，故事生成幾個任務，這就引入了主題的偏見。此外，大模型生成的文本經常會出現固定的風格或者格式。這些偏見常常會被黑盒分類器作為分類的主要特征而降低了檢測的魯棒性。

隨著大型語言模型能力的提升，大型語言模型生成的文本和人類的差距會越來越小，導致黑盒模型的檢測準確性越來越低，因此白盒檢測是未來更有前景的檢測方式。

（2）現有的檢測方法默認大型語言模型是被公司所有，因而所有的用戶都是通過 API 來獲得公司的大型語言模型服務，這種多對一的關系非常有利用檢測系統的部署。但是如果公司開源了大型語言模型，這將導致現有的檢測方法幾乎全部失效。

對于黑盒檢測，因為用戶可以微調他們的模型，改變模型輸出的風格或者格式，從而導致黑盒檢測無法找到通用的檢測特征。

白盒檢測可能是一個解決辦法，公司在開源模型之前可以給模型中加入一個水印。但是用戶同樣可以通過微調模型，改變模型 token 的采樣機制來移除水印。現在還沒有一種水印技術能夠抵御用戶的這些潛在威脅。