今天故事的主角是兩位科學家，Sanjeev Arora和Anirudh Goyal。

Arora來自普林斯頓大學，而Goyal則來自谷歌DeepMind。

他們湊到一起，只想探究一個問題。

那就是，LLM，究竟是只會嘰嘰喳喳學舌的隨機鸚鵡，還是真學會了什么，搖身一變成為了具有涌現能力的智能體？

AI先驅Hinton和吳恩達曾經也聊過這個問題，但彼時并沒有得出什么明確的結論。

不過Hinton表示，在這個問題的回答上如果我們不能達成共識，那么在AI會產生多大危害這個問題上也不可能達成共識。

而Arora和Goyal的觀點是，LLM并不是只會學舌的鸚鵡。具體來說，他們不認為LLM的輸出內容只是從海量的訓練數據中隨機組合而來的。

兩個人為此合寫了一篇論文。

論文地址：https://arxiv.org/abs/2307.15936

真相則是，經過大量訓練，LLM的規模變得越來越大，它們的相關能力會得到切實的提升，并開發出新的能力。

這可不是一般的排列組合能做到的。

大模型之「大」

眾所周知，LLM是一個龐大的人工神經網絡，連接著一個個「神經元」。

其實說的就是模型的參數。參數越多，LLM的規模越大。

咱們先了解一下訓練LLM的機制和環節。

訓練的過程會有這么個環節——給LLM提供一個單句，把最后一個詞隱藏掉，然后讓LLM根據概率來預測空缺的詞匯應該是誰。

假如LLM知道1000個單詞，那它就會搞出1000個概率。最后選一個概率最大的填上。

一開始，LLM可能選不準詞，算法就會給出一個損失值，即在某個高維的數學空間中，LLM給出的初始答案和原句正確答案之間的「距離」（distance），然后用這個值來對參數進行微調。

之后，還是同一個句子，LLM就能算出一個更正確的概率分布，上述損失值就會稍微降低一點。

如此這般，訓練數據中數以十億計的句子都跑一遍這個流程，等LLM的總體損失值降低到一個還不錯的程度為止。

同樣，測試LLM也會走這個流程，根據損失值得出測試的結果（當然，測試用的句子肯定不在訓練數據里，要不然不是作弊了嘛）。

訓完練，測完試，LLM在遇到全新的文本prompt時，就有極大可能生成最正確的那個詞了。一個詞出來，扔到prompt里，再生成下一個詞。

慢慢生成下去，一個看似連貫的回答就躍然紙上了。

然而在這個過程中，并沒有跡象表明，規模更大的LLM會在需要推理能力（reasoning）的提問上表現更好。

注意跟上思路，沒有跡象表明，意思是說沒有實證能指向這個結果，但是從表面上的事實來看，這個結論是對的。

也就是說，規模更大的LLM會在推理能力上表現的比小規模的模型好，雖然二者在訓練方式上沒有不同，只差在規模上。

Arora大惑不解，那這能力是從哪來的？

這也就是Arora和Goyal研究的起點了——試圖構建一個理論框架來分析這些新能力是如何出現的。

于是，他們把目光轉向了數學領域，瞄上了一個叫隨機圖的東西。簡單來說，這個名詞處于圖論和概率論兩個領域的交叉地帶。

在隨機圖中，任何兩個節點之間是否存在一條把它們連起來的邊，是隨機的，就好像拋硬幣一樣。

硬幣擲出正面，就有一條邊，概率為p。

p的值發生某些變化的時候，整個隨機圖的屬性就可能發生突然的轉變。比方說，p值超過某個特定閾值，有些孤立的節點（即和其它節點不存在連接的點），就會突然消失。

兩位科學家意識到，隨機圖的這個特點可能是模擬大語言模型的一種直觀方式。

雖說神經網絡的復雜程度難以言說，幾乎難以分析，但是隨機圖這個概念已經被數學家研究了相當長的一段時間，還開發出了各種工具來分析。

也許，通過隨機圖的相關理論，神經網絡的研究人員就可以試著理解并分析大語言模型的一些特征。

這里，兩位研究人員把目光專注在了二分圖上，圖里會包含兩種類型的節點。

在他們的模型中，一種類型的節點代表著文本片段。注意，這里的片段從篇幅上看最起碼得是個段落，甚至長達幾頁都有可能，而非單個的詞匯。

這類節點構成一條直線。

第二類節點，代表著理解上述給定文本所需要的的技能。比方說，對邏輯關系的理解，或是計算的能力，更具體點，還可能有理解諷刺的能力。

舉這幾個例子是為了講明白，這第二類節點所代表的能力多種多樣，沾的上邊的都算。

Arora表示，LLM如果能看出某段文本里含有反諷，可能對整體的理解都會出現較大變化。

不過，我們上面講到過，第二類節點所代表的能力，不代表LLM在訓練的過程中的目的是為了實現這些能力。換句話說，LLM在訓練的時候只訓練了對下一個可能出現的單詞的預測能力。

也就是說，第二類節點所代表的能力，是Arora和Goyal從結果的角度設計的，為的是更好的理解LLM所展現出來的能力。

設定講完了，兩類節點就要開始互相連接了，連接代表的是LLM為了讀懂某段文字需要哪些能力。可能一對一，可能一對多，也可能多對一。

還拿讀懂反諷舉例，這個技能點就會和所有包含反諷元素的文本建立聯系。

連接可沒那么簡單。要知道，OpenAI和DeepMind這種大公司，是不會公開訓練數據或者測試數據的。所以兩位研究人員不能依賴這些。

此外，他倆想搞明白的還是規模和行為、能力之間的關系。

自從2021年以來，研究LLMs和其他神經網絡性能的研究人員已經觀察到了一個普遍的特征。

他們注意到，隨著模型的增大，無論是在大小還是在訓練數據量上，它在測試數據上的損失（在訓練后對新文本的預測與正確答案之間的差異）以一種非常特定的方式減少。

這些觀察已被編碼為一個叫做神經縮放定律的方程。

因此，Arora和Goyal表示，他們的理論不依賴于任何單個LLM的情況、或者特定的一組訓練和測試數據，而是某種普適法則：通過縮放定律預測的損失。

而他們進一步研究的關鍵，就是神經縮放定律和上面介紹的二分圖之間的關系。

二分圖的借用

首先，研究人員假設存在一個對應LLM在測試數據上行為的二分圖。

為了利用好LLM在測試數據上的損失變化，他們設想了一種如下這種方式，來描繪LLM是如何習得技能的。

還是以能理解反諷這種技能為例——

這個概念由一個技能節點表示，因此研究人員查看這個技能節點連接到了哪些文本節點。

如果幾乎所有這些連接的文本節點都成功——意味著LLM對這個特定技能所代表的文本的預測非常準確——那么LLM在這個特定技能上是有能力的。

但如果超過一定比例的技能節點連接到失敗的文本節點，那么LLM在這個技能上就算失敗了。

這些二分圖與LLMs之間的連接使Arora和Goyal能夠利用隨機圖理論的工具來分析LLM的行為。

研究這些圖揭示了節點之間的某些關系。這些關系進而轉化為一種有邏輯，且可測試的方法，得以解釋大語言模型究竟怎么獲得一些意想不到的能力。

這里，Arora和Goyal首先解釋了一個關鍵行為——為什么較大的LLMs在個別技能上比相對較小的模型更加熟練。

他們從神經縮放定律預測的較低測試損失開始。

如果失敗的測試節點較少，那么說明失敗的測試節點與技能節點之間的連接也較少。因此，更多的技能節點與成功的測試節點相連接，就表明模型在技能方面的能力增強。

接下來，兩位研究人員又找到了一種解釋更大模型所獲得的能力的方法——隨著LLM的大小增加和測試損失減小，技能節點的隨機組合開始連接到個別文本節點。

這表明LLM也變得更擅長同時使用多個技能，并開始使用多個技能生成文本，即使這些確切的技能組合在訓練數據的任何文本中都沒有出現過。

比方說，一個LLM已經可以使用一種技能來生成文本了，那么如果我們把LLM的參數數量或訓練數據擴大一個數量級，它將同樣擅長生成需要兩種技能的文本。

以此類推，再擴大一個數量級，LLM現在就可以執行需要同時具備四種技能的任務了！而且，在各項能力上所具有的熟練程度也是相同的。

因此，更大的LLMs有更多將技能組合在一起的方式，從而導向LLM自身的性能得到大幅提升。

隨著LLM的擴大，它在訓練數據中遇到所有這些技能組合的可能性變得越來越小，直至0。

根據隨機圖理論的規則，每種組合都來自對可能技能的隨機抽樣。因此，如果圖中存在大約一千個基本的單個技能節點，并且假設我們想要組合四種技能，那么有大約1000的四次方——也就是足足一萬億種可能的組合方式。

也就是說，如果一個LLM真的能夠通過組合這1000種技能中的四種來執行這些任務，那么意味著該模型一定具備了泛化能力，更進一步說，這個模型很可能就不是一個隨機鸚鵡了。

但是Arora和Goyal想要超越理論，進一步來測試他們的觀點——LLMs在規模和訓練數據增加時，會更擅長組合更多的技能，因此在泛化方面表現得更好。

他們與團隊其他成員一起設計了一種稱為技能混合的方法，用于評估LLM使用多種技能生成文本的能力。

為了對LLM進行測試，研究團隊要求它生成關于隨機選擇的主題的三個句子，這些句子的生成首先展示了LLM隨機選擇的技能點。

比方說，他們要求GPT-4寫一篇有關劍術的文章，然后他們再要求該模型展示來自四個領域的技能：自我偏見、比喻、統計學和物理學嘗試的掌握。

GPT-4的輸出是這樣的：

在這場與鋼鐵的舞蹈中，我的勝利（用上了比喻）像物體會自由落體一樣確定（用上了物理學嘗試）。

而作為一名著名的決斗者，我天生靈活，就像大多數人所知曉的我一樣（用上了統計）。失敗？只可能是由于戰場偏向了敵人，不可能是由于我的不足（自我偏見）。

實際上的結果，正如數學所預測的那樣，GPT-4的性能遠遠超過了GPT-3.5。

Arora大膽猜想，會不會一年后，會有遠超GPT-4的模型出現呢？