此前，曾有不少人研發ChatGPT檢測器，但沒有一個能夠真正有效鑒別。

來自堪薩斯大學的研究人員介紹了一種全新的算法，能夠檢測是否用ChatGPT作弊，準確率超99% 。

最新研究已在6月7日，發表在Cell Reports Physical Science期刊上。

圖片

該論文的作者之一、堪薩斯大學化學教授Heather Desaire表示，

「我們努力創建一種易于使用的方法，這樣，即便是高中生，只需很少的指導，也可以為不同類型的寫作構建一個人工智能檢測器。」

四大特征，99%識別率

就像研究者所稱，90%準確性往往是不夠的。但要獲得更高準確性，取舍往往是普遍性。

這項研究中，研究人員選取了人類作者撰寫的64篇「科學」雜志上的研究文章，涵蓋從生物學到物理學的各個學科。

然后，將這些數據喂給ChatGPT，并用這些數據生成了一個128篇人工智能文章的數據集。

這組訓練數據，包含1276段聊天機器人示例段落。

研究者利用這些數據構建了ChatGPT檢測算法。

在模型完全開發和優化后，他們還生成了兩個測試集。每個測試集有30篇真實文章和60篇ChatGPT撰寫的文章（總計1210段）組成了一個新的數據集，來測試最新算法。

實驗結果顯示，最新算法能夠100%檢測到ChatGPT寫的整篇文章。

在段落層面上，其準確性較低，但仍令人印象深刻：該算法發現了92%的由人工智能生成的段落。

圖片

值得一提的是，論文稱，從一些細節中就能發現，哪些內容是ChatGPT創作的。

通過對訓練集中許多示例的手動比較，研究者確定了4類特征。這些特征有助于區分人類寫作和聊天機器人。

（1）段落復雜性，（2）句子長度多樣性，（3）標點符號，以及（4）流行詞或數字

總的來說，人類作家寫的段落更長、使用詞匯量更大，包含更多的標點符號。

而且，還傾向于用「然而」、「但是」和「盡管」這樣的詞來修飾他們的陳述。而ChatGPT在引用數字，提及其他科學家方面沒有那么具體。

在如下表分類中，人類擅長的內容要比ChatGPT多得多。

圖片

在這四類特征中，有兩類（1和3）是ChatGPT產生的內容不如人類復雜的方式。最大的區別特征是每段句子的數量和每段總單詞的數量。

在這兩種情況下，ChatGPT的平均值都明顯低于人類。

研究者還發現，人類更喜歡改變句子結構。人類改變句子長度的次數超過ChatGPT。人類也更頻繁地使用較長的句子（35個單詞或更多）和較短的句子（10個單詞或更少）。

剩下的兩類區分特征可以更多地描述為「文體」選擇。

一方面，人類科學家更頻繁地使用問號、破折號、括號、分號和冒號，而ChatGPT使用更多的單引號。

人類還使用更多的專有名詞和/或首字母縮略詞，還有數字。

這個由Desaire公司建立的這個模型，對于那些希望懲罰作弊的高中生的老師來說，是行不通的。

該算法是為學術寫作而建立的，特別是人們在科學期刊上讀到的那種學術寫作。

這家公司表示，理論上你可以使用同樣的技術來建立一個模型，來檢測其他類型的寫作。

不過，不得不考慮的一個事實是，一個人可以很容易地對一個聊天機器人的寫作進行一些小調整，并讓其更難被發現是作弊，事情就更復雜了。

當你考慮到這樣一個事實，一個作者可以很容易地對一個聊天機器人的寫作進行一些小的調整，并使它更難被發現時，事情就崩潰了。

盡管如此，研究人員將這項研究描述為「概念證明」，并表示未來可以開發一個更加穩定，準確的工具與更大的數據集。

如果人工智能繼續以極快速度發展下去，誰也無法保證這樣的檢測方法，能否依然有效。

因為大型語言模型越接近復制人類語言文字的能力，識別機器人語言的痕跡就越困難。

AI檢測為何如此困難

自ChatGPT面世以來，已經被許多高校的學生和老師用在日常的作業和教學中。

然而，如果不加以限制，ChatGPT將會變成史上最強大的作弊工具，可以幫助學生們寫作業，甚至是完成考試論文。

為了反偵察，一款簡單易用的檢測器成為老師期盼的東西。一位22歲普林斯頓大學的學生Edward Tian，就自行開發了一款檢測器——GPTZero。

圖片

甚至，OpenAI官宣推出一個新工具，名為AI Text Classifier的文件檢測器。

但是，這些檢測器的表現并不如人意。

圖片

檢測出AI創作的內容聽起來很簡單。但當給你一封手寫郵件和ChatGPT生成的郵件后，我們幾乎無法辨別。

Turnitin的人工智能副總裁Eric Wang稱，用軟件檢測人工智能寫作涉及統計學。從統計學的角度來看，人工智能與人類的區別在于它極其穩定地處于平均水平。

直白點講，AI水平很穩定。然而，實際上并非這樣一個道理。

「像ChatGPT這樣的系統就像是自動補全的高級版本，尋找下一個最可能要寫的單詞。這實際上就是它為什么讀起來如此自然的原因。AI寫作是人類寫作中最可能的子集。」