別再“煉丹”了!TML新研究或將終結AI訓練“玄學”
2025年,人工智能領域的競爭進入了一個新的維度。不再僅僅是模型參數規模的比拼,一場圍繞頂尖人才和底層技術創新的競賽已然拉開帷幕。在這場變革的中心,一家名為Thinking Machines Lab(TML)的新興公司,以其星光熠熠的創始陣容和創紀錄的融資規模,迅速成為全球科技界矚目的焦點。本文將深度解析這支“AI夢之隊”的構成,并拆解其首個重磅研究成果“模塊流形”背后的巨大技術野心。
AI行業的“復仇者聯盟”
TML的創始團隊,幾乎囊括了近年來推動AI大模型發展的半壁江山。其核心成員大多來自OpenAI、Google Brain等世界頂級AI實驗室,履歷堪稱輝煌。
創始人米拉·穆拉蒂,此前在OpenAI擔任首席技術官,領導了ChatGPT、DALL-E和GPT-4o等關鍵項目的研發。首席科學家John Schulman,是OpenAI的聯合創始人,其開發的PPO算法是當前強化學習領域應用最廣泛的基石之一。首席技術官Barret Zoph,曾是OpenAI的研究副總裁和Google Brain的科學家。此外,團隊還包括了GPT-3、GPT-4等模型背后的關鍵人物Bob McGrew,以及前OpenAI AI安全系統負責人翁荔(Lilian Weng)等。
這樣一支星光熠熠的團隊,自然獲得了資本市場的瘋狂追捧。在尚未發布任何產品的情況下,TML便完成了高達20億美元的種子輪融資,由a16z領投,NVIDIA、AMD等行業巨頭跟投,公司估值已超過100億美元。這背后,反映出在當前的AI競賽中,頂尖人才的價值被提到了前所未有的高度。
從“救火式”修正到“預防式”約束
TML的宏大愿景,需要有顛覆性的技術來支撐。其于2025年9月26日發布的“模塊流形”研究,正是其技術野心的展露。這項研究直指當前所有大模型訓練過程中都面臨的一個核心痛點——數值穩定性。
在訓練一個擁有數千億參數的神經網絡時,一個巨大的挑戰是如何保持其內部數據處于一個“健康”的狀態。如果這些數值變得過大或過小,就會導致訓練過程崩潰。過去,研究者們發明了各種技術,如Layer Norm等,來對這些數值進行“救火式”的修正。
而“模塊流形”提出了一種全新的、更根本的解決思路。可以這樣理解:傳統方法好比讓一個不受約束的物體自由落體,在它快要撞到地面時再用各種緩沖墊去接住它;而“模塊流形”則像是預先為這個物體鋪設了一條光滑、安全的軌道,讓它從一開始就在一個可控的范圍內運動。
其核心思想,是通過約束優化,在一開始就將神經網絡中的權重張量(可以理解為模型參數的一種組織形式)限制在一個被稱為“子流形”的特定數學空間內。這樣做的好處是,參數從一開始就被“關”在了一個健康的、不會出現極端數值的范圍內進行優化,從而讓整個訓練過程變得更穩定、更具可解釋性。
“流形Muon”的優越表現
為了驗證這一理念,TML的研究人員設計了一款名為“流形Muon”的新型優化器。優化器是深度學習中指導模型如何學習的算法。
“流形Muon”將神經網絡中的權重矩陣,約束在一個名為Stiefel流形的特殊空間中。在這個空間里,所有矩陣的奇異值(可以理解為矩陣對數據進行拉伸或壓縮的程度)都被嚴格限制為1。這意味著,無論模型如何更新,其權重矩陣對數據的影響始終保持在一個穩定、可控的范圍內。
研究團隊在CIFAR-10這個經典的圖像分類數據集上進行了實驗。結果顯示,使用“流形Muon”優化器訓練的小型神經網絡,無論是在訓練過程的穩定性,還是在最終的測試準確性上,均優于目前被廣泛使用的AdamW優化器。

重構AI訓練的底層范式
“流形Muon”的成功,僅僅是“模塊流形”理論的一個初步實踐。TML的真正野心,是建立一套能夠指導整個神經網絡、跨越不同層級進行學習率分配的抽象機制。
行業趨勢顯示,AI的競爭正從追求模型規模的“更大”,轉向探索基礎理論的“更優”。TML這項研究的潛在行業影響是深遠的:如果“模塊流形”范式能夠成功應用于大規模模型,它將有望從根本上提升大模型訓練的穩定性和效率,降低對“煉丹”式調參的依賴,并可能為低精度訓練等前沿領域開辟新的路徑。
Thinking Machines Lab的橫空出世,以及其“模塊流形”研究的發布,清晰地傳遞出一個信號:AI領域的下一場革命,可能發生在最底層的數學原理和優化算法之中。這支由頂尖大腦組成的“AI夢之隊”,能否憑借其在基礎理論上的顛覆性創新,開辟出一條通往通用人工智能的全新路徑,全世界都在拭目以待。

















