當你被AI無辜扣上「作弊」的帽子，作何感想？

這件事恰恰發生在了一位高三學生Lucy Goetz身上。原本她寫的一篇社會主義原創論文得了最高分。

但是，Turnitin公司的AI寫作檢測器竟說，Goetz論文結尾是用ChatGPT生成的。

Goetz震驚道，「我很高興能和老師們保持良好的關系」。

簡言之，還好老師了解我，不然跳進黃河都洗不清了。

而更令人驚訝的是，這個ChatGPT檢測器現在已經被210萬名教師使用。

AI無法打敗AI

Goetz的論文中被標記出的部分屬于異常情況，但這表明檢測器有時會出錯。

顯然，AI是無法打敗AI的。這對許多學生來說可能產生災難性的后果。

為了測試Turnitin的檢測器，記者Geoffrey A. Fowler對Goetz在內的5名高中生進行了測試。

他們創作了16篇涵蓋真實、AI生成，以及混合來源的論文樣本。

結果如何呢？

Turnitin的檢測器至少在一半以上的樣本中出現錯誤，僅是準確識別出了其中6篇，但在3篇上的檢測都失敗了。其中就包括對Goetz原創論文中8%內容的標記錯誤。

對于剩下的7篇，Fowler稱，「我只會給它部分分數，因為它的判斷大致正確，但錯誤識別了一些ChatGPT生成或混合來源的寫作部分。」

然而，Turnitin聲稱其檢測器的整體準確率達到98%。該公司還表示，在其自身測試中，類似Goetz論文的情況（即假陽性）發生的概率不到1%。

Turnitin的AI檢測器詳細頁面會分配一個總分，并突出顯示疑似AI生成的句子。該公司表示，它故意用藍色而非紅色標記疑似AI生成的段落，并在得分下方鏈接教師資源。

加州康科德市Goetz的AP英語課老師Rebecca Dell表示，Turnitin標記AI文本的系統并不總是有效，這令人擔憂。

與抄襲指控不同，AI作弊沒有源文件作為證據，這最容易讓老師對學生帶有偏見。

或許并不是每個人都像Goetz那么幸運。

Goetz表示，「對于學生來說，被指控AI作弊尤其令人恐懼。除非你的老師了解你的寫作風格，或者對你非常信任，否則沒有辦法證明你沒有作弊」。

AI檢測為何如此困難

自ChatGPT面世以來，已經被許多高校的學生和老師用在日常的作業和教學中。

然而，如果不加以限制，ChatGPT將會變成史上最強大的作弊工具，可以幫助學生們寫作業，甚至是完成考試論文。

為了反偵察，一款簡單易用的檢測器成為老師期盼的東西。一位22歲普林斯頓大學的學生Edward Tian，就自行開發了一款檢測器——GPTZero。

甚至，OpenAI官宣推出一個新工具，名為AI Text Classifier的文件檢測器。

但是，這些檢測器的表現并不如人意。

檢測出AI創作的內容聽起來很簡單。但當給你一封手寫郵件和ChatGPT生成的郵件后，我們幾乎無法辨別。

Turnitin的人工智能副總裁Eric Wang稱，用軟件檢測人工智能寫作涉及統計學。從統計學的角度來看，人工智能與人類的區別在于它極其穩定地處于平均水平。

直白點講，AI水平很穩定。然而，實際上并非這樣一個道理。

「像ChatGPT這樣的系統就像是自動補全的高級版本，尋找下一個最可能要寫的單詞。這實際上就是它為什么讀起來如此自然的原因。AI寫作是人類寫作中最可能的子集。」

Turnitin的檢測器便會「識別出書寫過于一致的平均情況」。挑戰就在于，有時候有時人類的寫作可能確實看起來處于平均水平。

在經濟學、數學和實驗室報告中，學生傾向于遵循固定的寫作風格，這意味著他們更有可能被誤認為是AI寫作。

這可能就是為什么Turnitin錯誤地標記了Goetz的論文，因為它的內容涉及到經濟學。

Wang表示，Turnitin努力調整其系統，在標記某個句子為AI生成之前需要更高的置信度，以便在這方面犯錯。

并稱，自己家的軟件已經有了很大的進展。「我首次在1月下旬測試Goetz的論文時，該軟件識別出其中大約50%是AI生成的。Turnitin在3月下旬再次通過其系統運行我的樣本，那時只標記了Goetz論文中的8%為AI生成的。」

Turnitin的檢測器也面臨其他重要的技術限制。

在它完全檢測正確的6個樣本中，它們都明顯是100%的學生作品，或由ChatGPT生成的。

但是當用混合AI和人類來源的論文進行測試時，它經常錯誤識別單個句子，或完全漏掉人類部分。而且它無法在通過Quillbot（一個可以重新組合句子的改寫程序）處理的論文中發現ChatGPT的痕跡。

此外，Turnitin的檢測器可能已經落后于當前的人工智能技術水平。

因為就拿ChatGPT來說吧，現在已經得到了GPT-4的加持，而且具有更多的創造性和風格化能力。

英偉達科學家Jim Fan稱，我認為檢測器在長期內是不可靠的。人工智能會變得越來越好，并且會以越來越像人類的方式進行寫作。可以肯定地說，隨著時間的推移，這些語言模型的小怪癖都會減少。

用AI檢測，是個好主意嗎？

既然有出錯的潛在可能性（即使只有1%），為什么還要發布人工智能檢測器呢？

Chechitelli說，「教師希望有威懾作用」。然而，一些教育工作者擔心這實際上會提高學生的緊張程度。

4月4日，Turnitin已經為大約10,700所中等教育和高等教育機構激活了這款ChatGPT檢測器，對學生作業進行「由AI生成」的評分以及逐句分析。

密歇根大學迪爾伯恩分校的數字教育副教務長Mitchel Sollenberger請求Turnitin不要在初始發布時為其校園激活AI檢測。

他擔憂的是，每學期約2萬份學生論文，通過Turnitin進行檢測的教師可能會因誤報，從而導致毫無根據的學術誠信調查。教師不應該成為第三方軟件系統的專家。