AI如何學到知識的？科學家敲開了它的腦殼看了看。

這兩天，DeepMind及谷歌大腦一篇文章被《美國國家科學院院刊》(PNAS)收錄，其內容正是以5年前發布的AlphaZero為例，研究神經網絡如何獲取并理解國際象棋知識。

在內容中，研究者重點關注了「神經網絡是如何學習的」「知識又如何被量化表示」等問題。

有意思的是，他們發現：

在沒有人類對弈指導下，AlphaZero仍形成了一套類似專業棋手才懂的概念體系。研究者還進一步探尋了這些概念何時何處形成。

此外，他們還對比了AlphaZero與人類開局棋風的不同。

有網友感慨，這是個影響深遠的工作：

也有人感慨，AlphaZero能計算任何人類行為特征了？！

欲知更多觀察結果，往下看。

掀起了神經網絡的頭蓋骨

AlphaZero于2017年由DeepMind發布并一鳴驚人。

這是一種神經網絡驅動的強化學習器，專精于棋類，內部包含了殘差網絡（ResNet）骨干網及分離的策略及價值heads。

其輸出函數可表示如下，z為國際象棋排布情況：

為研究AlphaZero如何「學習」的，研究者構建了一個人類理解國際象棋的函數c(z0)。其中，z0為一個象棋特定排布概念，c(z0)以專業國際象棋引擎Stockfish 8評估分數作為參考。

再從AlphaZero角度，設一個廣義線性函數g(zd)，作為在不同層取值的探針。訓練設定下，g(zd)將不斷趨近??(??0)，研究者通過觀察g(zd)與??(??0)近似情況，以確認系統是否理解相關概念。

接著，研究團隊隨機抽取了10萬盤游戲作為訓練集，觀察AlphaZero表現。

情況如下圖，結果顯示，隨著訓練步數（step）及ResNet網絡塊數（block）越來越多，AlphaZero表現出來的分數越來越高（圖A），對弈過程中，每一步對敵方威脅性的也隨之增加（圖C）。

由于實驗中出現了異常值，研究者探討了其背后的潛在語義。

如下圖，少數紅色點位置遠離主流分布，殘差值也在紅虛線之上，說明人類對棋局判斷c函數與g函數有明顯差異。

研究團隊發現，這些值對應棋局中，人類判斷為白方有利，同時，黑方皇后都能在兌子（exchange）過程中被進一步吃掉。

研究者推斷認為，這是源于AlphaZero的Value Head與參考評價函數編碼方式與參考系統的不同。

此外，研究者還觀察了人類棋手及國際象棋編程所看重的重要參數，隨訓練過程的變化，其中包括：國王安全度（King Safety）、一方棋子總戰力（Material）、機動性（Mobility）、走棋威脅性（Threats）等。

結果顯示，它們在初始情況下幾乎為零，但隨著訓練不斷往下進行，以國王安全度（King Safety）、一方棋子總戰力（Material）為代表，部分參數在模型中的權重明顯上升。

這讓研究者相信，通過訓練過程，AlphaZero已經逐漸掌握了原本沒有教給它的相關重要概念或者說知識。

最后，研究者還著重看了看開局演變與下棋風格，發現AlphaZero隨時間推移，下棋路徑選擇范圍在縮小，而人類下棋偏好和路徑在變多。

科研人員表示，目前原因尚不清楚，但它反應了人與機器神經網絡之間的根本差異。

關于后續研究方向，作者提出，下一步希望能探索AI模型能否超越人類的認知概念范圍，去掌握學會新的東西。

團隊介紹

本文一作Thomas McGrath 來自DeepMind，博士畢業于倫敦帝國學院，主要研究領域包括ML、人工智能安全及可解釋性。

二作Andrei Kapishnikov，來自Google Brain，主攻人工智能應用領域，早前曾在VMware及Oracle從事技術工作。

值得一提的是，國際象棋大師Vladimir Kramnik也參與了該項目的研究。

參考鏈接：[1]?https://twitter.com/weballergy/status/1461281358324588544[2]?https://www.pnas.org/doi/10.1073/pnas.2206625119