數學能力幾乎和AlphaGo的圍棋水平一樣？！

這是研究員對AlphaEvolve的最新評價，就在不久之前，谷歌DeepMind聯合陶哲軒等一眾頂尖科學家打造了「通用科學人工智能」AlphaEvolve，直接打破了矩陣乘法領域56年以來的效率基準。

一位谷歌前員工更是將這一成就類比為傳說中的“神之一手”：

太瘋狂了！AlphaEvolve的數學能力相當于AlphaGo打敗人類的“神之一手”第37步。

具體而言，4x4矩陣乘法的49次標量乘法效率基準已經持續56年，而AlphaEvolve直接將這個數字改寫為48。

別看數字只前進了一小步，但背后所代表的更快的矩陣乘法算法可謂意義重大。

不僅可以解決復雜數學難題，還能用來改進芯片設計、提高數據中心和AI訓練的效率。

在谷歌內部使用中，它將Gemini架構中大型矩陣乘法運算加速了23%，從而將Gemini的訓練時間縮短了1%，并且還將FlashAttention提速了32.5%。

那么接下來的問題是——

AlphaEvolve是如何做到的？背后藏著哪些核心技術原理？

在AlphaEvolve發布后的第一時間，知名播客《Machine Learning Street Talk》第一時間采訪到了其背后的兩位核心研究員：Alexander Novikov（左下）和Matej Balog（右下）。

在1個多小時的交談中，關于AlphaEvolve如何改進矩陣乘法的詳細過程、背后的技術原理以及中間遇到了哪些問題來了個一次性大公開。

網友們紛紛表示，很高興看到更多干貨流出~

Okk，以下為重點內容整理。

秘訣在于讓AI“完全自由探索”

AlphaEvolve的一大作用，就是推進數學和算法發現的前沿。

其中最重要的成果之一，當屬改進了Strassen于1969年提出的算法，它發現了一種使用48次標量乘法來對4x4復值矩陣進行乘法運算的算法。

關于取得這次突破的詳細過程，兩位研究人員揭示了幾個關鍵環節。

大約兩年前，谷歌開發了Alpha Tensor這個專門用于發現矩陣乘法算法的強化學習Agent，其前身就是著名的通用棋類AI“AlphaZero”，而AlphaZero更是在AlphaGo的基礎上發展而來。

雖然Alpha Tensor確實能找到一些更快的算法，但使用范圍僅限于布爾矩陣（即矩陣中的每個元素只有0或1），對普通實數/復數矩陣無突破。

于是，AlphaEvolve基于Alpha Tensor框架，進一步引入了進化算法，通過迭代生成、評估和優化候選算法來探索更優解。

與人類設計的算法不同，AlphaEvolve不依賴一些預設的“經驗法則”或“設計套路”，比如習慣將問題固定分塊（幾X幾），而是完全放開限制自由探索。

之所以這樣做，是因為傳統算法的“對稱性陷阱”可能將搜索空間限制在局部最優（如49次乘法），從而錯過更高效但結構非常規的算法。

最終，當研究人員主動讓AlphaEvolve搜索復數矩陣乘法算法（比實數更一般化）時，他們意外發現復數算法在實數域同樣有效。

因此他們立即擴大搜索空間（更復雜的運算組合），結果找到了一個僅需48次乘法的復數算法，優于Strassen遞歸的49次，并且該算法也進一步通過了數學驗證。

而在突破4x4矩陣乘法算法后，他們還挑戰了規模更大的矩陣，如5×5、6×6矩陣。

不過遺憾的是，AlphaEvolve未能超越現有最優解（如6×6因搜索空間爆炸且未引入對稱性偏置）。

研究人員表示，這可能是因為更大矩陣需要特定歸納偏置（如對稱性）來縮小搜索空間，而AlphaEvolve的通用性在此成為劣勢。

換句話說，今后人們還需要在完全開放搜索和約束之間尋找平衡。

但不可否認的是，AlphaEvolve的一大優勢在于開箱即用，研究員Matej Balog表示：

它不僅能用于數學和科學問題的新發現，還能找到可以直接部署到谷歌關鍵計算堆棧中的算法。

這對我來說是前所未有的體驗，甚至超出了我的預期。

AlphaEvolve背后核心技術

AlphaEvolve不是試圖生成解決方案，而是像inception一樣生成生成解決方案的東西，它能夠設計非常先進的算法。

研究人員提到，AlphaEvolve的高級架構是一種進化算法。對于系統提供的任何代碼段，都可以自動評價它是否好以及有多好，然后繼續迭代。

在這種評估和迭代的循環中，系統能夠識別最好的代碼，然后將它“喂”給LLM。

Gemini大語言模型體系

AlphaEvolve以Gemini Flash和Gemini Pro模型為基礎，同時調用二者的功能。

Gemini Flash用于提升速度，快速處理大量數據、廣泛洞察信息，在生成算法代碼時，能夠快速篩選大量代碼片段。

Gemini Pro負責提升深度理解，深入挖掘潛在規律，在篩選的代碼片段中選擇最符合需求的部分進行整合。

進化算法框架

進化算法是AlphaEvolve實現算法優化創新的核心機制。

借鑒“適者生存”理念，對Gemini 大語言模型生成的多樣化代碼初始種群的每個算法進行適應度評估，對表現優異的代碼保留、變異或組合，投入下一輪優化。

這種選擇機制能夠確保優質算法的基因被保留，在持續迭代過程中，算法種群的整體性能逐漸提升，逐漸逼近最優解。

研究人員表示，進化算法不僅應用在篩選算法的過程中，還應用于優化提示詞上。比如，在改進特定問題之前，會讓系統對此問題的提示詞本身提出修改建議。

然后在給出的修改后的提示詞中精心挑選一組能夠更好地實現目標的提示。

自動化評估系統

自動化評估系統是AlphaEvolve對生成算法進行全面量化評價、篩選的關鍵模塊。

通過多維度指標設定、自動化測試執行、評估結果反饋與迭代引導保障算法的持續優化。

研究人員表示，評估指標會有一個非常微妙的限制，他舉了一個具體的例子，比如在問題定義中內置時間約束，只關注能夠在10分鐘之內取得進展的搜索算法，探索算法空間。

系統具備將待評估算法集成到測試環境的能力，通過多場景測試更全面地給出評估結果。

評估結果不僅用于篩選算法，還能為算法的進一步優化提供方向。

比如，某個矩陣乘法算法在準確性方面表現良好，但效率較低，那么后續的優化可能會集中在改進計算流程、減少不必要的計算步驟上。

基于評估結果，自動化評估系統會將表現優秀的算法傳遞給進化算法模塊，作為下一代算法的基礎。

異步分布式運行架構

異步分布式運行架構是AlphaEvolve實現高效、靈活算法優化的關鍵架構。

在進化算法框架中，種群的不同算法可以在異步分布式架構下并行進化，每個計算節點負責種群中的一部分個體。

例如，在與Gemini大模型的交互中，一些節點可以用來生成針對不同問題的算法代碼，而另一部分可以用來進行數據優化處理。

在適用度評估過程中，不同的節點可以分別負責計算某個算法在準確率、效率、資源占用等不同指標上的得分。

從算法→模型，形成優化閉環

聊到最后，兩位研究人員還總結了有關AlphaEvolve的幾個重要發現。

第一，其性能直接受益于基礎語言模型的提升。

當前AlphaEvolve主要采用混合模型策略，鑒于模型性能與算法發現效率存在明確正相關，因此未來可進一步提升基礎模型能力。

第二，當前已初步實現遞歸自我改進，即AI已經展現出自我增強的潛力。

一旦將改進后的算法應用到基礎模型，最終將形成一個自我優化的閉環。例如一開頭提到的，將Gemini架構中大型矩陣乘法運算加速了23%，從而將Gemini的訓練時間縮短了1%。

第三，當前實際資源消耗呈現高度靈活性。

具體來說，簡單問題幾乎能即時解決，而類似矩陣乘法這樣的復雜問題往往需數百小時計算，系統目前能自動匹配問題難度調整資源投入。

除了遵循以上發現進行改進，未來還要在核心保持人機協作的同時提升自動化水平，以代替目前人類占主導的情形。

總之，通過以上詳細介紹，有網友再次意識到了AlphaEvolve的重要性：

我們正在開發一項能夠催生真正新技術的技術。