ChatGPT 是 OpenAI 開發(fā)的一項新技術(shù)，它非常擅長模仿人類交流，以至于很多人認(rèn)為它將很快接管世界——以及其中的所有工作。

在 2 月 8 日由布朗大學(xué)卡尼腦科學(xué)研究所組織的交流中，兩位來自不同研究領(lǐng)域的學(xué)者討論了人工智能與人類智能之間的相似之處。

關(guān)于 ChatGPT 神經(jīng)科學(xué)的討論讓與會者得以一窺當(dāng)下機(jī)器學(xué)習(xí)模型的內(nèi)幕。

計算機(jī)科學(xué)助理教授兼 Google AI 研究科學(xué)家 Ellie Pavlick 表示，盡管圍繞新技術(shù)的所有討論很多，但該模型并沒有那么復(fù)雜，甚至都不是新的。

她解釋說，在最基本的層面上，ChatGPT 是一種機(jī)器學(xué)習(xí)模型，旨在預(yù)測句子中的下一個單詞，下一個表達(dá)等。

Pavlick 說，這種類型的預(yù)測學(xué)習(xí)模型已經(jīng)存在了幾十年。長期以來，計算機(jī)科學(xué)家一直在嘗試構(gòu)建表現(xiàn)出這種行為并可以用自然語言與人類交談的模型。為此，模型需要訪問傳統(tǒng)計算組件的數(shù)據(jù)庫，使其能夠“推理”過于復(fù)雜的想法。

新的是 ChatGPT 的訓(xùn)練或開發(fā)方式。它可以訪問深不可測的大量數(shù)據(jù)——正如 Pavlick 所說，“互聯(lián)網(wǎng)上的所有句子”。

“ChatGPT 本身并不是拐點，”Pavlick 說。“拐點是在過去五年的某個時候，基本相同的結(jié)構(gòu)模型有所增加，但它們變得越來越大。正在發(fā)生的事情是，隨著它們變得越來越大，它們的表現(xiàn)也越來越好。”

ChatGPT 及其競爭產(chǎn)品可供公眾免費使用的方式也很新穎。Pavlick 說，即使在一年前，要與像 ChatGPT 這樣的系統(tǒng)進(jìn)行交互，一個人也需要訪問像 Brown 的 Compute Grid 這樣的系統(tǒng)，這是一種只有獲得特定權(quán)限才能供學(xué)生、教職員工使用的專用工具，并且還需要一個公平的精通技術(shù)的數(shù)量。

但是，現(xiàn)在，任何人，無論其技術(shù)能力如何，都可以使用 ChatGPT 時尚、流線型的界面。

CHATGPT 真的像人一樣思考嗎?

Pavlick 說，用如此龐大的數(shù)據(jù)集訓(xùn)練計算機(jī)系統(tǒng)的結(jié)果是，它似乎可以識別出一般模式，并且看起來能夠生成非常逼真的文章、故事、詩歌、對話、戲劇等。

它可以產(chǎn)生假新聞報道和假科學(xué)發(fā)現(xiàn)，并產(chǎn)生各種令人驚訝的有效結(jié)果——或“輸出”。

他們結(jié)果的有效性促使許多人相信機(jī)器學(xué)習(xí)模型可以像人類一樣思考。但是他們呢?

ChatGPT 是一種人工神經(jīng)網(wǎng)絡(luò)，認(rèn)知、語言和心理科學(xué)以及計算機(jī)科學(xué)教授 Thomas Serre 解釋說。這意味著硬件和編程是基于一組相互關(guān)聯(lián)的節(jié)點，其靈感來自大腦中神經(jīng)元的簡化。

Serre 說，在計算機(jī)大腦和人腦學(xué)習(xí)新信息并使用它來執(zhí)行任務(wù)的方式上確實存在許多引人入勝的相似之處。

“有研究開始表明，至少從表面上看，像 ChatGPT 這樣的算法使用和利用來處理語言信息的單詞和句子表示類型與大腦似乎在做什么之間可能存在某種聯(lián)系，”他說。

例如，ChatGPT 的主干是一種稱為 Transformer 網(wǎng)絡(luò)的最先進(jìn)的人工神經(jīng)網(wǎng)絡(luò)。這些源自自然語言處理研究的網(wǎng)絡(luò)最近開始主宰整個人工智能領(lǐng)域。

Transformer 網(wǎng)絡(luò)有一種特殊的機(jī)制，計算機(jī)科學(xué)家稱之為“自我注意”，這與已知發(fā)生在人腦中的注意機(jī)制有關(guān)。

Serre 說，與人腦的另一個相似之處是使該技術(shù)變得如此先進(jìn)的一個關(guān)鍵方面。

他解釋說，過去，訓(xùn)練計算機(jī)的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和使用語言或執(zhí)行圖像識別需要科學(xué)家執(zhí)行繁瑣、耗時的手動任務(wù)，例如建立數(shù)據(jù)庫和標(biāo)記對象類別。

現(xiàn)代大型語言模型，例如 ChatGPT 中使用的模型，無需這種明確的人工監(jiān)督即可進(jìn)行訓(xùn)練。而這似乎與 Serre 所說的一種被稱為預(yù)測編碼理論的有影響力的大腦理論有關(guān)。這是假設(shè)當(dāng)一個人聽到某人說話時，大腦會不斷地做出預(yù)測并對接下來會說什么產(chǎn)生預(yù)期。

雖然這個理論是幾十年前提出的，但塞爾說它還沒有在神經(jīng)科學(xué)中得到充分的檢驗。然而，它目前正在推動大量的實驗工作。

“我想說，至少在這兩個層面上，這個網(wǎng)絡(luò)的核心引擎的注意力機(jī)制一直在預(yù)測將要說的內(nèi)容，這似乎在非常粗略的層面上與與神經(jīng)科學(xué)相關(guān)的想法，”Serre 評論道。

最近有一項研究將大型語言模型使用的策略與實際的大腦過程聯(lián)系起來，他指出：“我們?nèi)匀恍枰私夂芏鄸|西，但是神經(jīng)科學(xué)研究中越來越多的研究表明這些大型語言的作用模型和視覺模型 [在計算機(jī)中] 所做的與我們處理自然語言時大腦所做的事情并不完全無關(guān)。”

從更黑暗的角度來看，就像人類學(xué)習(xí)過程容易受到偏見或腐敗的影響一樣，人工智能模型也是如此。Serre 說，這些系統(tǒng)通過統(tǒng)計關(guān)聯(lián)進(jìn)行學(xué)習(xí)。數(shù)據(jù)集中占主導(dǎo)地位的任何信息都將接管并推出其他信息。

“這是人工智能非常關(guān)注的一個領(lǐng)域，它并不特定于語言，”Serre 說。他列舉了互聯(lián)網(wǎng)上白人男性的過度代表如何使一些面部識別系統(tǒng)產(chǎn)生偏見，以至于他們無法識別看起來不是白人或男性的面孔。

“系統(tǒng)的好壞取決于我們提供給它們的訓(xùn)練數(shù)據(jù)，而且我們知道訓(xùn)練數(shù)據(jù)一開始并不是那么好，”Serre 說。

數(shù)據(jù)也不是無限的，他補(bǔ)充說，特別是考慮到這些系統(tǒng)的規(guī)模和它們的貪婪胃口。

Pavlick 說，ChatCPT 的最新版本包括強(qiáng)化學(xué)習(xí)層，這些層起到護(hù)欄的作用，有助于防止產(chǎn)生有害或仇恨內(nèi)容。但這些仍在進(jìn)行中。

“部分挑戰(zhàn)在于……你不能給模型一個規(guī)則——你不能只是說，'永遠(yuǎn)不要生成這樣那樣的東西，'”Pavlick 說。

“它通過例子學(xué)習(xí)，所以你給它很多事情的例子，然后說，‘不要做這樣的事情。做這樣的事情。因此，總是有可能找到一些小技巧讓它做壞事。”

CHATGPT 不會做夢

人類大腦和神經(jīng)網(wǎng)絡(luò)的一個不同領(lǐng)域是在睡眠中——具體來說，是在做夢時。盡管 AI 生成的文本或圖像看起來超現(xiàn)實、抽象或荒謬，但 Pavlick 表示，沒有證據(jù)支持生物做夢過程與生成 AI 的計算過程之間存在功能相似性的概念。

她說，重要的是要了解像 ChatGPT 這樣的應(yīng)用程序是穩(wěn)態(tài)系統(tǒng)——換句話說，它們不會在網(wǎng)上實時發(fā)展和變化，盡管它們可能會在離線時不斷完善。

“這不像 [ChatGPT] 重播和思考，并試圖以新的方式組合事物，以鞏固它所知道的或大腦中發(fā)生的任何事情，”帕夫利克說。

“這更像是：完成了。這就是系統(tǒng)。我們稱之為通過網(wǎng)絡(luò)的前向傳遞——沒有來自它的反饋。它沒有反思它剛剛做了什么，也沒有更新它的方式。”

Pavlick 說，當(dāng) AI 被要求制作，例如，關(guān)于克雷布斯循環(huán)的說唱歌曲，或者某人的狗的迷幻圖像時，輸出可能看起來很有創(chuàng)意，但實際上它只是系統(tǒng)已經(jīng)完成的任務(wù)的混搭被訓(xùn)練去做。

與人類語言使用者不同，每個輸出不會自動改變每個后續(xù)輸出，或增強(qiáng)功能，或以人們認(rèn)為夢想起作用的方式工作。

Serre 和 Pavlick 強(qiáng)調(diào)，任何關(guān)于人類智能或人工智能的討論都需要注意的是，科學(xué)家們對這兩個系統(tǒng)仍有很多需要了解的地方。

至于關(guān)于 ChatGPT 的炒作，特別是神經(jīng)網(wǎng)絡(luò)在創(chuàng)建幾乎比人類更人性化的聊天機(jī)器人方面的成功，Pavlick 說這是當(dāng)之無愧的，特別是從技術(shù)和工程的角度來看。

“這是非常令人興奮!” 她說。“我們長期以來一直想要這樣的系統(tǒng)。”