我們將人工智能(AI)深度學習的又一年激動人心的發展拋在身后——這一年充滿了顯著的進步、爭議，當然還有爭議。在我們結束 2022 年并準備迎接 2023 年的到來之際，以下是今年深度學習領域最顯著的總體趨勢。

1. 規模仍然是一個重要因素

過去幾年深度學習中一直保持不變的一個主題是創建更大的神經網絡的驅動力。計算機資源的可用性使擴展神經網絡以及專門的 AI 硬件、大型數據集以及變壓器模型等規模友好架構的開發成為可能。

目前，公司正在通過將神經網絡擴展到更大的規模來獲得更好的結果。過去一年，DeepMind 發布了Gopher，一個 2800 億參數的大型語言模型（LLM）；谷歌發布了擁有 5400 億個參數的Pathways 語言模型 ( PaLM )和多達 1.2 萬億個參數的通用語言模型 ( GLaM )；微軟和英偉達發布了Megatron-Turing NLG，一個 5300 億參數的 LLM。

規模的有趣方面之一是涌現能力，其中較大的模型成功地完成了較小的模型不可能完成的任務。這種現象在 LLM 中特別有趣，隨著規模的擴大，模型在更廣泛的任務和基準測試中顯示出有希望的結果。

然而，值得注意的是，即使在最大的模型中，深度學習的一些基本問題仍未解決（稍后會詳細介紹）。

2. 無監督學習繼續交付

許多成功的深度學習應用程序需要人類標記訓練示例，也稱為監督學習。但互聯網上可用的大多數數據都沒有帶有監督學習所需的干凈標簽。數據注釋既昂貴又緩慢，造成瓶頸。這就是為什么研究人員長期以來一直在尋求無監督學習的進步，在這種學習中，深度學習模型的訓練不需要人工注釋的數據。

近年來，這一領域取得了巨大的進步，尤其是在 LLM 領域，它們大多接受從互聯網上收集的大量原始數據集的訓練。雖然法學碩士在 2022 年繼續取得進展，但我們也看到無監督學習技術的其他趨勢越來越受歡迎。

例如，今年文本到圖像的模型取得了驚人的進步。OpenAI 的DALL-E 2、谷歌的Imagen和 Stability AI 的Stable Diffusion等模型展示了無監督學習的力量。與需要注釋良好的圖像和描述對的舊文本到圖像模型不同，這些模型使用互聯網上已經存在的松散標題圖像的大型數據集。他們的訓練數據集的龐大規模（這僅是可能的，因為不需要手動標記）和字幕方案的可變性使這些模型能夠找到文本和視覺信息之間的各種復雜模式。因此，它們在為各種描述生成圖像方面更加靈活。

3. 多模態取得長足進步

文本到圖像生成器還有另一個有趣的特性：它們在單個模型中組合了多種數據類型。能夠處理多種模式使深度學習模型能夠承擔更復雜的任務。 

多模態對于人類和動物的智能非常重要。例如，當你看到一棵樹并聽到風在它的樹枝上沙沙作響時，你的大腦可以很快地將它們聯系在一起。同樣，當你看到“樹”這個詞時，你可以很快地聯想到一棵樹的形象，記住下雨后松樹的味道，或者回憶起你以前有過的其他經歷。 

顯然，多模態在使深度學習系統更加靈活方面發揮了重要作用。DeepMind 的Gato可能最好地展示了這一點，這是一種針對各種數據類型（包括圖像、文本和本體感覺數據）進行訓練的深度學習模型。Gato 在多項任務中表現出色，包括圖像字幕、交互式對話、控制機械臂和玩游戲。這與旨在執行單一任務的經典深度學習模型形成對比。

一些研究人員已經提出了這樣的概念，即我們只需要像 Gato 這樣的系統來實現人工智能(AGI)。盡管許多科學家不同意這一觀點，但可以肯定的是，多模態為深度學習帶來了重要成就。

4. 深度學習的基本問題仍然存在

盡管深度學習取得了令人矚目的成就，但該領域的一些問題仍未解決。其中包括因果關系、組合性、常識、推理、計劃、直覺物理學以及抽象和類比。 

這些是不同領域的科學家仍在研究的一些智力奧秘。純粹的基于規模和數據的深度學習方法有助于在其中一些問題上取得漸進式進展，但未能提供明確的解決方案。 

?例如，較大的 LLM 可以在較長的文本中保持連貫性和一致性。但他們在需要細致的逐步推理和計劃的任務上失敗了。

同樣，文本到圖像生成器創建令人驚嘆的圖形，但在被要求繪制需要組合性或具有復雜描述的圖像時會犯基本錯誤。

不同的科學家正在討論和探索這些挑戰，包括一些深度學習的先驅。其中最著名的是獲得圖靈獎的卷積神經網絡 (CNN) 發明者 Yann LeCun，他最近寫了一篇關于僅從文本中學習的 LLM的局限性的長文。LeCun 正在研究一種深度學習架構，該架構可以學習世界模型，并可以解決該領域目前面臨的一些挑戰。

深度學習已經走過了漫長的道路。但我們取得的進步越多，我們就越意識到創建真正智能系統的挑戰。明年肯定會和今年一樣令人興奮。