這就是GPT模型聽起來像人類的原因
譯文譯者 | 劉濤
審校 | 重樓
沒人知道為什么AI可以工作，對吧?
是和否。
從根本上說，我們對于人類大腦的秘密仍然知之甚少。
然而，Transformers（一種用于自然語言處理（NLP）和其他序列到序列（seq2seq）任務的人工神經網絡模型）和人類在自然語言處理方面的響應非常相似，讓人不寒而栗。
讓我們來解釋一下原因。
將信息表達（Information Representations）存儲在Transformer中
我們使用從多個字或標記輸入生成的向量來為Transformer創建嵌入。
因此，信息以向量的形式存儲。
考慮到“表達”這一問題，實際上，比起"注意力機制"，“表達嵌入”更具基礎性。首先，我們必須先得到一種“表達”，這種表達要么是“可解碼”，要么是“可操作”！
您也許想知道，這與像GPT-4這樣的Transformer在經過整個互聯網的訓練后所能做的一切有什么關系？
信息通過注意力點積和數學運算與原數據的上下文意義和表達相結合進行編碼。
因此，我們將這些數據的表達形式存儲在 Transformer 中。
關鍵因素
所有神經網絡都是根據通用近似定理（Universal approximation theorem）解決問題的。
對于那些不知道什么是通用近似定理的人，我們可以將通用近似定理定義為將指定輸入精確地轉換為指定輸出的任何過程 --它可以近似看作是從輸入到輸出的一個函數。這個函數存在一定的形式，但我們不需要知道。因為只要給定足夠的數據，神經網絡可以為我們近似得到任意函數。
什么是函數？這是我們試圖解決的問題。
神經網絡可以通過其處理算法近似得到任何函數---所以是通用的。
架構不同-算法不同-模型不同-但基本原理相同。
這就是為什么神經網絡在有足夠的數據、被賦予合適的任務，并以正確的方式進行調整時就會起作用，這是一個隨著時間推移而不斷變得更好的藝術。
在LLM（大型語言模型）中，“狗”這個概念的潛在表達是什么?
肯定有一種表示方法，實際上可能有很多種。
也許是單個狗的x向量，y上下文值和z位置參數，以及原始數據流架構的正確路徑。
我們只是還沒有深入研究它，因為這對我們的目的來說還不必要。
系統運行正常。
這對我們來說已經足夠了。
因此，該系統是一個黑盒。
但是，大腦如何存儲數據？
就像以前一樣-我們不知道確切的細節。
當我們的大腦被創造出來時，它們會創造外部物體、概念和實體的內部表示。有點像一個成長中的孩子。
例如，狗的概念可能涉及x神經元、y突觸和z架構，以及神經元之間動態不斷發展的原始數據搬遷路徑集。
我的意思是，人腦也是一個黑匣子。適用于GPT模型的相同原理也可以說適用于大腦——它們也是通用近似器。
近似定理顯然適用于我們的大腦。
這是相同的原理。
我們大腦中的想法也可以通過嵌入式存儲/表達出來！
只是這些嵌入是自然創建的。
具有超低電能的神經元、軸突和樹突的家族。
不同的形式。不同的功能。但最終結果相同。
系統起作用了。
這對我們來說已經足夠了。
我們還能說我們知道什么？
只有我們能憑經驗觀察到的。
又是一個黑盒。
那么，為什么它們在自然語言中如此相似呢？
我們試圖通過一種非常復雜的處理過程，將所有從互聯網上采集到的數據，盡可能地對 AGI進行建模—那可是全球的數據。
在序列-序列模型以及自然語言測試方面，我認為我們已經取得了成功。
我們已經對人腦如何理解和處理信息進行了建模，這需要付出巨大代價，而且系統性地努力。
我不開心且真的害怕。如果這是ChatGPT能做的~
那么，GPT-4將實現什么？
微軟的軟件工程師已經確定了GPT-4模型中的一些未來應用。
他們甚至發表了一篇關于該發現的論文-
研究報告：
- 我們在冒很大的風險。
- 當 Geoffrey Hinton 從他的研究崗位上退下來的時候，我意識到事情真的亂套了。
- 有錢能使鬼推磨。
- 再多的控制也無法阻止中國和美國以利潤為中心的公司。
- 我們希望未來一切順利。
- 人工智能決策者必須把道德放在利潤之上。
但是企業家什么時候這樣做過呢？
結論
Hinton說了些難以置信的話。
“我突然改變了AI是否會比我們更聰明的看法。我想它們現在已經非常接近了，將來它們肯定會比我們更聰明。那么我們人類應該如何生存？”
但就目前而言，沒有什么事物可以阻止它。最后，讓我們留給您一個有趣的問題，這個問題將由 ChatGPT給出答案。
問：您將如何實現AGI？
ChatGPT回答：
實現通用人工智能（AGI）是一個巨大的挑戰，需要跨多個科學和工程學科取得重大進展。雖然AGI的確切路徑仍然是一個充滿爭論和探索的話題，但我可以為您提供研究人員在一些關鍵領域的更詳細解釋：
1、認知架構：開發能夠模仿人類智能的認知架構是AGI的一個基本方面。這包括理解人腦的結構和功能，并設計捕捉這些過程的計算模型。研究人員從神經科學、認知心理學和認知科學中汲取靈感，構建能夠支持高級推理、感知、記憶、學習和決策的架構。
2、機器學習和深度神經網絡：機器學習，尤其是深度學習，在近年來的人工智能進步中發揮了重要作用。深度神經網絡在圖像識別和自然語言處理等感知任務中取得了顯著成功。為了向AGI邁進，研究人員正在探索通過提高深度學習的泛化、可解釋性以及處理有限數據和復雜推理的能力來增強深度學習能力的方法。
3、強化學習和主動學習：強化學習是AGI關注的另一個關鍵領域。它包括訓練AI與環境交互并從試錯中學習。強化學習技術與主動學習相結合，包括主動選擇信息豐富的訓練樣本，可以幫助AI更有效地從環境中探索和學習。開發能夠從不同數據源中學習并將知識推廣到新情況的算法對于實現AGI至關重要。
4、認知機器人（Cognitive Robotics）和具身智能（Embodied Intelligence）：真正的AGI需要的不僅僅是處理信息；它需要與現實世界進行交互。認知機器人旨在整合機器人的感知、認知和行動，使它們能夠以類似于人類的方式學習和推理世界。具身智能研究探索AI如何利用感官運動技巧和自身體驗，與周圍環境進行互動，從而發展出智能。
5、符號推理和知識表達：AGI系統應該能夠符號推理和操作復雜的知識表達。符號推理包括使用邏輯規則、推理機制和結構化知識表達等方法，來執行抽象推理和問題解決的任務。將符號推理與統計方法（如神經網絡）相結合是一個活躍的研究領域，可以實現更強大和靈活的推理能力。
6、遷移學習（Transfer Learning）和元學習(Meta-Learning）：AGI系統應該具備將在一個領域學到的知識和技能轉移到新的或陌生領域的能力。遷移學習技術旨在利用現有知識加速相關任務或領域的學習。元學習，側重于開發能夠學習如何有效學習的模型，快速適應有限數據的新情況和任務。
7、數據和計算資源： AGI開發需要海量高質量的數據用于訓練模型。跨多個領域訪問不同數據集對于捕捉人類知識的廣度和深度至關重要。此外，AGI開發需要大量的計算資源來訓練和運行復雜的模型。硬件領域的進步，如專用人工智能芯片和分布式計算系統，能夠顯著加速AGI研究。
8、倫理、安全和可解釋性：隨著AGI的發展，解決倫理問題、制定穩健的安全措施以及確保AGI系統的透明度和可解釋性至關重要。研究人員正在探索使人工智能系統變得更加透明、可解釋和可問責的方法，從而降低風險，并使人類用戶能夠理解和信任它們的行為。
9、合作和交叉學科研究：實現AGI需要來自不同領域的專家間的合作，包括AI、神經科學、心理學、哲學等。鼓勵交叉學科研究和知識共享可以為開發AGI帶來新的思路和方法。
需要注意的是，盡管在這些領域都取得了進展，但實現AGI仍然是一個沒有明確時間表的開放式問題。這是一個復雜而長期的目標，需要持續地研究、探索和迭代。
譯者介紹
劉濤，51CTO社區編輯，某大型央企系統上線檢測管控負責人。
原文標題：This Is Why GPT Models Sound Like Humans，作者：Thomas Cherickal
