語言生成模型來了，學校的作業會不會從此變得形同虛設？近日，紐約市教育官員宣布禁止學生在公立學校使用 ChatGPT 的事件引發了爭論。

語言模型自動生成的內容會「參照」現有作品，產出的速度又幾乎無限，人們對其的擔憂已經蔓延到了 AI 學界自身，全球知名機器學習會議之一的 ICML 最近也宣布禁止發表包含由 ChatGPT 和其他類似系統生成內容的論文，以免出現「意外后果」。

對于這樣的情況，ChatGPT 的提出者 OpenAI 已宣布正在努力開發「緩解措施」，幫助人們檢測由 AI 自動生成的文本。

「我們將 ChatGPT 作為新研究的預覽技術，希望能從現實世界的應用中進行學習。我們認為這是開發和部署功能強大、安全的 AI 系統的關鍵部分。我們會不斷吸取反饋和經驗教訓，」公司發言人表示。「OpenAI 一直呼吁在使用 AI 生成的文本時要保持透明。我們的使用條款要求用戶在使用我們的 API 和創意工具時，首先對其面向的人群負責……我們期待與教育工作者合作制定有效的解決方案，幫助教師和學生等人群尋找從 AI 中受益的方法。」

如果出現了能夠區分人類和機器產生內容的算法，生成模型在學術界的使用方式或許會出現改變。學校將能夠更有效地限制人工智能生成的論文，而如果人們的態度發生轉變，轉而期待這些工具能夠幫助學生，或許我們也可以逐漸接受使用 AI 進行輔助的方式，提高工作學習的效率。

現在看起來，眼前還有很長的一段路要走。盡管 AI 生成的文字內容在學術會議和學校禁止機器寫論文作弊的新聞中看起來令人印象深刻，但你需要知道，與真正的人類寫作相比，它們時常缺乏真正的理解與邏輯。

當像 GPT-3 或 ChatGPT 這樣的工具通過給出令人震驚的詳細答案而讓人感到驚訝時，也有冷靜的專家表示這證明了模型能夠編碼知識，但當它們無法正確處理事情時，給出的答案往往很離譜。波莫納學院 (Pomona College) 經濟學教授 Gary Smith 提醒我們，不要上當。

在一篇專欄文章中，Gary Smith 展示了幾個 GPT-3 無法有效推理和回答問題的例子，「如果你嘗試使用 GPT-3，你最初的反應可能是驚訝——似乎是在與一個非常聰明的人進行真正的對話。然而深入探究后，你很快就會發現雖然 GPT-3 可以用令人信服的方式將單詞串在一起，但它并不知道單詞的含義。」

「預測 down 這個詞有可能跟在 fell 這個詞后面，并不要求對這兩個詞的含義有任何理解。只是通過統計層面的計算，AI 就能認為這些詞經常在一起。因此，GPT-3 很容易做出完全錯誤，但又武斷的聲明。」

OpenAI 在 2022 年 11 月發布了 ChatGPT，這是一個較新的模型，基于 GPT-3 進行了改進。盡管如此，它仍然存在著這些相同的問題，就像所有現有的語言模型一樣。

如何用 AI 檢測 AI 生成的文字？

曾幾何時，AI 生成的文字內容還是「一眼假」，但自從 ChatGPT 橫空出世以來，這種分辨工作是越來越難做了。

在教育領域，ChatGPT 的爭論主要圍繞作弊的可能性展開。在谷歌上搜索「ChatGPT 寫論文」，你能發現大量教育工作者、記者和學生通過使用 ChatGPT 完成家庭作業和標準化論文測試來試水的例子。

《華爾街日報》的專欄作家曾使用 ChatGPT 撰寫了一篇能拿及格分的 AP 英語論文，而《福布斯》記者則利用它在 20 分鐘內完成了兩篇大學論文。亞利桑那州立大學教授 Dan Gillmor 在接受衛報采訪時回憶說，他嘗試給 ChatGPT 布置一道給學生的作業，結果發現 AI 生成的論文也可以獲得好成績。

目前，已經有開發者制作了面向 ChatGPT 生成內容的檢測工具——「GPTZero」，只需要將內容粘貼在輸入框，就能在幾秒鐘之內得到分析結果，快速檢測出一篇文章是 ChatGPT 還是人工撰寫的。

網友評：世界各地的學生看到后都哭了。

作者是普林斯頓大學的學生 Edward Tian，他利用假期的一部分時間編寫了 GPTZero。

讓我們看看檢測過程，先以一段《New Yorker》的報道內容為例（百分之百確定由人類寫作）：

再看一段由 ChatGPT 生成的內容接受檢測：

GPTZero 應用程序的原理是借助一些文本屬性進行分析。首先是困惑度（perplexity），即文本對模型的隨機性，或語言模型對文本的「喜愛」程度；然后是突發度（burstiness），即機器寫作的文本在一段時間內表現出的困惑度更均勻和恒定，而人類書寫的文本則不會這樣。

GPTZero：「同學們，對不起！教授們，不客氣！」

據《衛報》報道，OpenAI 目前正在開發一項功能，用于統計 ChatGPT 輸出結果的「水印」，以便閱讀器可以在 AI 文本選擇中發現隱藏模式。

在得克薩斯大學的一次演講中，OpenAI 客座研究員 Scott Aaronson 表示，公司正在研究一種通過「對輸出進行統計水印」來打擊作弊的系統。Aaronson 說，這項技術將通過微妙地調整 ChatGPT 選擇的特定單詞選擇來發揮作用，讀者不會注意到這種方式，但對于任何尋找機器生成文本跡象的人來說，這在統計上都是可預測的。

「我們實際上有一個水印方案的工作原型了，」Aaronson 補充道。「它似乎表現很好——根據經驗，幾百個詞似乎足以得到一個信號：是的，這段文本來自 GPT。」

雖然面臨人們的擔憂，但有關 ChatGPT 的應用也在快速鋪開。在很多場景中，人們不想與無法理解簡單查詢的聊天機器人對話，什么都可以說上兩句的 ChatGPT 可以解決這一問題。總部位于多倫多的 Ada 已與 OpenAI 合作把 GPT-3.5，ChatGPT 背后的大模型應用在了客服聊天機器人上，完成了 45 億次客戶服務交互。

據 The Information 報道，微軟還與 OpenAI 簽訂了獨家許可協議，并計劃將該技術整合到 Bing 搜索引擎中。

ChatGPT 正在模擬真人的道路上加速前進，這場打假的戰役還會繼續下去。