神經網絡也有空間意識！學會在Minecraft創建地圖，登上Nature子刊
想象一下，你身處一個陌生的小鎮，即使一開始周圍的環境并不熟悉，你也可以四處探索，并最終在大腦中繪制出一張環境地圖，里面包含建筑物、街道、標志等相互之間的位置關系。這種在大腦中構建空間地圖的能力是人類更高級認知類型的基礎：例如，有理論認為，語言是由大腦中類似地圖的結構編碼的。
然而， 即使是最先進的人工智能和神經網絡，也無法憑空構建這樣的地圖。
計算生物學助理教授、Heritage Medical 研究所研究員 Matt Thomson 說：「有一種感覺是，即使是最先進的人工智能模型，也不是真正的智能。它們不能像我們一樣解決問題；不能證明未經證實的數學結果，也不能產生新的想法。」
「我們認為，這是因為它們無法在概念空間中導航；解決復雜問題就像在概念空間中移動，就像導航一樣。人工智能做的更像是死記硬背 —— 你給它一個輸入，它給你一個回應。但它無法綜合不同的想法。」
最近，Thomson 實驗室的一篇新論文發現，神經網絡可以使用一種叫做「預測編碼」的算法來構建空間地圖 。該論文于 7 月 18 日發表在《自然 - 機器智能》（Nature Machine Intelligence）雜志上。
- 論文地址：https://www.nature.com/articles/s42256-024-00863-1
- 代碼地址：https://github.com/jgornet/predictive-coding-recovers-maps
在研究生 James Gornet 的帶領下，兩人在游戲《我的世界》（Minecraft）中構建了環境，將樹木、河流和洞穴等復雜元素融入其中。他們錄制了玩家隨機穿越該區域的視頻，并利用視頻訓練了一個配備預測編碼算法的神經網絡。
他們發現，神經網絡能夠學習 Minecraft 世界中的物體彼此之間是如何組織的，并且能夠「預測」在空間中移動時會遇到的環境。
預測編碼算法與 Minecraft 游戲的結合成功地「教會」了神經網絡如何創建空間地圖，并隨后使用這些空間地圖來預測視頻的后續幀，結果預測圖像與最終圖像之間的均方誤差僅為 0.094%。
更重要的是，研究小組「打開」了神經網絡（相當于檢查內部結構），發現各種物體的表征是相對于彼此進行空間存儲的。換句話說，他們看到了存儲在神經網絡中的 Minecraft 環境地圖。
神經網絡可以導航人類設計者提供給它們的地圖，例如使用 GPS 的自動駕駛汽車，但這是人類首次證明神經網絡可以創建自己的地圖。這種在空間上存儲和組織信息的能力最終將幫助神經網絡變得更加「聰明」，使它們能夠像人類一樣解決真正復雜的問題。
這個項目展示了人工智能真正的空間感知能力，而這在 OpenAI 的 Sora 等技術中仍然看不到，后者存在一些奇怪的故障。
James Gornet 是加州理工學院計算與神經系統（CNS）系的學生，該系涵蓋神經科學、機器學習、數學、統計學和生物學。
「CNS 項目確實為 James 提供了一個地方，讓他從事其他地方不可能完成的獨特工作，」Thomson 說。「我們正在采用一種生物啟發的機器學習方法，讓我們能夠在人工神經網絡中反向設計大腦的特性，我們希望反過來了解大腦。在加州理工學院，我們有一個非常容易接受這類工作的社區。」
執行預測編碼的神經網絡
受預測編碼推理問題中隱式空間表示的啟發，研究者開發了一個預測編碼智能體的計算實現，并研究了該智能體在探索虛擬環境時學習到的空間表示。
他們首先使用 Minecraft 中的 Malmo 環境創建了一個環境。物理環境的尺寸為 40 × 65 格單位，囊括了視覺場景的三個方面：一個山洞提供了一個全局視覺地標，一片森林使得視覺場景之間具有相似性，而一條帶有橋梁的河流則限制了智能體如何穿越環境（圖 1a）。
智能體遵循路徑，路徑由 A* 搜索確定，以找到隨機取樣位置之間的最短路徑，并接收每條路徑上的視覺圖像。
為了進行預測編碼，作者構建了一個編碼器 - 解碼器卷積神經網絡，編碼器采用 ResNet-18 架構，解碼器采用轉置卷積的 ResNet-18 架構（圖 1b）。編碼器 - 解碼器架構使用 U-Net 架構將編碼的潛在單元傳遞到解碼器中。多頭注意力處理編碼潛在單元序列，以編碼過去的視覺觀察歷史。多頭注意力有 h = 8 個頭。對于維度為 D = C × H × W 的編碼潛在單元，在高度 H、寬度 W 和通道 C 的情況下，單個頭部的維度為 d = C × H × W/h。
預測編碼器通過最小化實際觀測值與預測觀測值之間的均方誤差來近似預測編碼。預測編碼器在 82,630 個樣本上進行了 200 個 epoch 訓練，使用了具有 Nesterov 動量的梯度下降優化，權重衰減為 5 × 10^(-6)，學習率為 10^(-1)，并通過 OneCycle 學習率調度進行調整。優化后的預測編碼器預測圖像與實際圖像之間的均方誤差為 0.094，具有良好的視覺保真度（圖 1c）。
更多細節請參見原論文。
