本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

了解游戲「我的世界（MineCraft）」的讀者，一定很熟悉這樣的畫面。 

△圖源：Science Magazine

但是，如果蓋房子的不是人，而是AI呢？

這是來自哥本哈根信息技術大學、約克大學和上海大學的學者，利用3D神經元細胞自動機（NCA）完成的新研究。

不僅能生成靜態結構，當然不僅是公寓，樹木、城堡也可以：

還能生成功能性機器，比如爬行的毛毛蟲：

把它一切兩段，還會玩再生術，成功分身……

這是怎么做到的？

神經元細胞自動機的應用

研究者其實是受到「生命游戲」中元胞自動機（CA) 的啟發，在2D基礎上開發了3D神經元細胞自動機（NCA）。

「生命游戲」就是基于元胞自動機的原理制作的，也可以說是元胞自動機的一個展示。

它是由英國數學家約翰·康威在1970年發明的。在網格中，每個方格居住著一個細胞，其狀態由其周圍的8個細胞決定，以黑色代表細胞存活。

之后，許多研究采用了更為復雜的神經網絡規則，被稱為神經元細胞自動機（NCA）。但是其應用大多局限于2D結構，或是只能生成簡單的3D結構。

為了提高NCA在實際應用中的通用性，研究團隊開發了3D NCA。

它利用3D卷積捕捉周圍更多的細胞，以生成復雜的3D結構，并且具有更多類型的建造單元。

研究人員試圖利用NCA從單個活細胞生成目標實體，利用監督學習對重建損失進行優化。

并且，將「我的世界」中的實體作為3D網格中的細胞，其狀態向量包含：塊類型、存活狀態、隱藏狀態。

但是，由于每個單元是單一的塊類型，于是他們將結構重建任務視為一個多類分類問題，預測給定單元的類型。

利用Pytorch提供的LogSoftmax和NLLLoss方法組合，以實現是在目標與預測的細胞結構之間，最小的交叉熵損失。

這種損失導致性能不穩定**，并且模型展現出對“空氣”塊的偏好。

在訓練中，“空氣”塊通常占據了所選結構的大部分，因此，訓練數據不平衡可能會導致模型過度預測。

為解決這一問題，研究人員根據是否歸類為“空氣 ”塊，將損失計算劃分為兩部分，并且增加了一個交叉重疊（IOU）成本，測量非“空氣”塊與實體之間的絕對差，以此提升精度。

效果如何？

針對模型在靜態結構和動態功能機器的重構性能，研究人員進行了評估，并記錄了各項參數。

結果顯示，NCA的重構能力具有魯棒性：

不過，NCA對于構建較大的實體（比如：教堂）仍具有挑戰性，因為模型經常陷入局部極小值，需要更長的時間來訓練。

盡管大教堂模型比一些實體的損失更低，但有許多隨機生成的結構，因此沒有其他實體自然。目標結構與生成效果的對比：

此外，在生成自然界中更隨機的實體（比如：橡樹）時，也更加困難。

正如前文提到的，NCA能生成靜態結構，并且可以很好地增加單個塊類型的數量，生成多樣化和復雜的內飾，比如公寓樓內部：

令人意外的是，在叢林神廟中，NCA甚至生成了一個箭陷阱。

在生成功能性機器時，研究人員發現，不同結構的生成模式也不同：

一些結構是從小細胞漸漸擴大到最終形態；而毛毛蟲則是先快速生成，然后再淘汰細胞形成最終的結構。

此外，NCA的再生特性也是一大亮點，除了從單個細胞中生長出復雜的結構外，這些局部更新規則還允許再生或修復損傷。

即使未經訓練，它仍然能恢復某些受損的結構，比如樹：

不過，研究人員在對比測試后發現：

在未經過再生訓練時，模型的再生率僅有30%；而進行再生訓練后，生成率能達到99%。

3D NCA引起了網友的廣泛關注，reddit上還有網友提到：

NCA在物理學上的應用也值得探索，比如：它可以用來模擬晶體形成。