編輯 | 聽雨

出品 | 51CTO技術棧（微信號：blog51cto）

“我真的已經受夠了 Transformer。”——這句話來自 Transformer 的共同作者、Sakana AI 聯合創始人 Llion Jones。

在舊金山 TED AI 大會上，這位被譽為“生成式 AI 時代奠基人”的研究者，突然“開炮”——不僅公開批評了整個 AI 行業的研究方向，還宣布自己已經“離開 Transformer”，開始尋找下一次重大突破。

要知道，Transformer 正是 ChatGPT、Claude、Gemini、Llama 等幾乎所有主流大模型的核心技術。而如今，它的發明人之一卻親口說：“我不干了。”

圖片

“AI 研究正在變得越來越窄”

Llion Jones 是 2017 年那篇改變 AI 歷史的論文《Attention Is All You Need》的作者之一，也是“Transformer”這個詞的命名者。

Image

這篇論文被引用超過 10 萬次，堪稱計算機科學領域的“圣經級”成果。

但在 TED AI 的演講上，Jones 卻直言：

“盡管現在 AI 領域投入了前所未有的資金與人才，研究卻變得越來越狹窄。”

他認為，這種局面不是偶然，而是被資本和競爭壓力擠壓出來的結果——投資人要求回報，研究員害怕“被抄”，于是大家都選擇安全、可發表的項目，而不是去探索真正未知的方向。

結果呢？“AI 研究陷入了‘剝洋蔥’式的自我復制。大家都在圍著同一個框架打轉——換個超參、堆點數據、再發一篇論文。”

“我們可能又在錯過下一個突破”

Jones 提出了一個形象的比喻——AI 算法有個經典的平衡：“探索 vs 利用”（exploration vs exploitation）。

圖片

如果一個系統只是一味利用已有成果，而不去探索新方向，它就會陷入“局部最優”，錯過真正更好的解法。

“AI 領域現在就是這樣。”Jones 說。“我們太沉迷于 Transformer 的成功，以至于忘了往外看。也許下一個革命性架構，就在不遠處。”

Transformer 誕生于“沒有 KPI 的自由”

Jones 回憶起當年在Google發明 Transformer 的經歷時，語氣明顯柔和了。

“那是一個非常自由、非常自然的過程——我們沒有明確的項目要求，也沒有指標壓力。只是午飯時聊出來的點子，隨手在白板上寫寫畫畫。”

沒有 OKR、沒有 deadline，也沒有資本的緊逼。

正是這種“無壓力的研究環境”，讓 Transformer 這場技術革命得以誕生。

而如今的 AI 公司，Jones 說，哪怕給研究員上百萬年薪，也無法給他們真正的自由。

“他們一上班就感到必須‘證明自己’，于是繼續追逐低風險、能發論文的方向。”

Sakana AI：離開 Transformer 的實驗室

作為 Sakana AI 的 CTO，Jones 現在正嘗試“重建”那種原始的自由：以自然啟發為靈感的研究方向，極少的成果壓力，也不強迫研究者為了論文或競爭對手而忙碌。他引用工程師 Brian Cheung 的一句話作為研究準則：

“你應該只去做那些，如果不是你，這個世界上就不會有人去做的研究。”

這家總部位于東京的 AI 實驗室正在研究一種名為 “連續思考機”（Continuous Thought Machine） 的新架構——靈感來自神經同步的自然現象，它將大腦式的同步機制引入神經網絡中。

圖片

一位提出這個想法的員工告訴 Jones，在他以前的公司或學術機構，類似的想法會被認為“浪費時間”。但在 Sakana，Jones 給了他一周自由探索的時間——結果，這個項目最終成功入選頂級 AI 學術會議 NeurIPS 的展示。

Jones 甚至提出，自由比高薪更能吸引人才。

“這是吸引人才的極好方式，”他這樣評價這種“探索型”研究環境，“想一想，那些聰明、有野心、真正熱愛探索的人，自然會主動尋找這樣的地方。”

“這不是競爭，而是探索”

最后，Jones 呼吁整個行業：“我們不是在競爭，而是在共同探索。如果大家都能多一點分享、多一點冒險，我們也許能更快走向下一個重大突破。”

業界越來越多證據表明，單純擴大 Transformer 模型規模 已接近極限。許多頂級研究者開始討論：或許新的架構創新，而非參數堆疊，才是邁向更強 AI 的關鍵。

但他也警告，這一突破可能永遠不會出現——除非我們打破現有的激勵機制：金錢、競賽、論文、排名……這些正讓研究者遠離真正的探索。

作為 Transformer 的共同創造者，Jones 對這一局限的洞察極具分量。他選擇“告別自己的發明”，也讓他的觀點更具說服力。

“也許下一個 Transformer 級的突破，就在拐角處。但也可能被忽視——因為我們都忙著改良一個我已經‘厭倦’的架構。”

畢竟，他是少數真正了解 Transformer 從誕生到極限的人之一。如果連他都覺得該向前走——那也許真是時候了。

Transformer 八位作者的去向

2017 年那篇改變 AI 進程的論文《Attention Is All You Need》，有 8 位作者。八年后，他們已各自踏上完全不同的航線——

Ashish Vaswani 創立了 Essential AI；Noam Shazeer 離開Google創辦 Character.AI，又重回 Gemini 項目；Aidan Gomez 在 Cohere 帶領團隊探索企業級 LLM；Jakob Uszkoreit 轉向生物科技 AI，創辦 Inceptive；Llion Jones 離開Transformer陣營，創立 Sakana AI 研究“后 Transformer 時代”；?ukasz Kaiser 加入 OpenAI 繼續推動推理模型發展；Illia Polosukhin 則投身 區塊鏈領域，打造 NEAR Protocol；而 Niki Parmar 仍保持低調，鮮少公開露面。

從科研到創業、從語言模型到生物智能，他們幾乎代表了 AI 行業的所有分支方向。這一幕像極了 Transformer 自身的命運：從單一架構出發，衍生出無數變體與未來。

當年那群年輕研究者改變了人工智能的軌跡；如今，他們又在各自的探索中，追尋下一個“Attention is all you need”時刻。

參考鏈接：https://venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers

本文轉載自??51CTO技術棧??，作者：聽雨