繼李飛飛、Bengio、何愷明之后，在剛剛的NeurIPS 2024中，Ilya Sutskever最新演講也來了。

雖然時長僅有15分鐘左右，但內容依舊看頭十足。

例如這一句：

Pre-training as we know it will end.
我們所熟知的預訓練即將終結。

而之于未來，Ilya還預測道：

what comes next is superintelligence: agentic, reasons, understands and is self aware.
接下來將是超級智能：代理、推理、理解和自我意識。

那么為何會有如此？我們一起來看看完整演講。

回顧十年技術發展

Ilya先是用一張十年前的PPT截圖開啟了這次演講，那時候深度學習還處于探索階段。

在2014年的蒙特利爾，他和團隊（還有Oriol Vinyals和Quoc Le）首次提出了如今成為AI領域基石的深度學習理念。

Ilya展示了當時的一張PPT，揭示了他和團隊的核心工作：自回歸模型、大型神經網絡和大數據集的結合。

在十年前，這些元素并不被廣泛看作成功的保證，而今天，它們已經成為人工智能領域最重要的基礎。

例如在談到深度學習假設時，Ilya強調了一個重要觀點：

如果有一個10層的大型神經網絡，它就能在一秒鐘內完成人類能做的任何事情。

他解釋說，深度學習的核心假設是人工神經元與生物神經元的相似性。

基于這一假設，如果人類能夠在0.1秒鐘內完成某項任務，那么同樣的任務，一個訓練良好的10層神經網絡也能完成。

這一假設推動了深度學習的研究，并最終實現了當時看似大膽的目標。

Ilya還介紹了自回歸模型的核心思想：通過訓練模型預測序列中的下一個token，當模型預測得足夠準確時，它就能捕捉到整個序列的正確分布。

這一思想為后來的語言模型奠定了基礎，特別是在自然語言處理領域的應用。

當然除了“押對寶”的技術之外，也有“押錯”的。

LSTM（長短期記憶網絡）就是其中之一。

Ilya提到LSTM是深度學習研究者在Transformer之前的主要技術之一。

盡管LSTM在當時為神經網絡提供了強大的能力，但它的復雜性和局限性也顯而易見。

另一個便是并行化（parallelization）。

盡管現在我們知道pipeline并不是一個好主意，但當時他們通過在每個GPU上運行一層網絡，實現了3.5倍的速度提升。

Ilya認為，規模假設（scaling hypothesis）是深度學習成功的關鍵。

這一假設表明，如果你有一個非常大的數據集，并訓練一個足夠大的神經網絡，那么成功幾乎是可以預見的。

這個觀點已經成為今天深度學習領域的核心法則。

Ilya進一步闡述了連接主義的思想，認為人工神經元與生物神經元之間的相似性給了我們信心，認為即使不完全模仿人腦的結構，巨大的神經網絡也能完成與人類相似的任務。

預訓練時代即將結束

基于上述技術的發展，也讓我們迎來了預訓練的時代。

預訓練是推動所有進步的動力，包括大型神經網絡和大規模數據集。

但Ilya接下來預測說：

雖然計算能力在不斷增長，硬件和算法的進步使得神經網絡的訓練效率得到了提升，但數據的增長卻已接近瓶頸。

他認為，數據是AI的化石燃料，隨著全球數據的限制，未來人工智能將面臨數據瓶頸。

雖然當前我們仍然可以使用現有數據進行有效訓練，但Ilya認為這一增長趨勢終將放緩，預訓練的時代也會逐步結束。

超級智能將是未來

在談到未來的發展方向時，Ilya提到了“Agent”和“合成數據”的概念。

許多專家都在討論這些話題，認為Agent系統和合成數據將是突破預訓練瓶頸的關鍵。

Agent系統指的是能夠自主推理和決策的人工智能，而合成數據則可以通過模擬環境創造新的數據，彌補現實世界數據的不足。

Ilya還引用了一個生物學上的例子，展示了哺乳動物身體與大腦大小的關系，暗示不同生物可能通過不同的“規模法則”進化出不同的智能表現。

這一思想為深度學習領域的進一步擴展提供了啟示，表明人工智能也許可以通過不同的方式突破目前的規模限制。

Ilya最后談到了超級智能的前景。

他指出，雖然當前的語言模型和AI系統在某些任務上表現出超人類的能力，但它們在推理時仍顯得不穩定和不可預測。

推理越多，系統變得越不可預測，這一點在一些復雜任務中表現得尤為突出。

他還提到：

目前的AI系統還不能真正理解和推理，雖然它們能模擬人類的直覺，但未來的AI將會在推理和決策方面展現出更加不可預測的能力。

Ilya進一步推測，未來的AI將不僅僅是執行任務的工具，而會發展成“Agent”，能夠自主進行推理和決策，甚至可能具備某種形式的自我意識。

這將是一個質的飛躍，AI將不再是人類的延伸，而是一個具有獨立智能的存在。