盡管對 GPT-5 褒貶不一，行業共識是并未達到期待的超級智能，根因或許來自 Transformer 邊際效用降低。

前天 DeepSeek 悄悄上線 V3.1，不是萬眾期盼的 R2, 基準測試提升可圈可點，不過同樣伴隨著業界對模型架構的疑慮。

統一視角下的概率流建模之外，是否還有其他創新思路？

近期，Adobe 研究院學者 Sridhar 嘗試用 Topos 來回答這一問題，提出了一種全新的 GenAI 架構【文獻 1】。

一、Topos 

筆者將 Topos 看成一個可以自定義“集合”、“邏輯”、“函數”的數學宇宙，宇宙法則能夠保持其中數學結構的嚴謹性。

一個 topos 就像是一個廣義類集合范疇（category of sets），具備與集合體系相似的邏輯和運算規則，包含以下幾個關鍵特征：

1. 極限與可選余極限（limits & colimits）：在范疇內構造出“最小”和“最大”，比如 pullback、pushout；

2. 指數對象（exponential object）：在范疇內直接表示“函數空間”，比如從 A 到 B 的所有映射；

3. 子對象分類器（subobject classifier）：類似于集合論中的布爾值 {true, false}，可為范疇中的對象建立邏輯結構。

Topos 是數學自定義框架，可以定義“變化的集合”、“局部的邏輯”、“不確定的函數”，從而構建不同數學世界。

碼農還可以這么理解，Topos 定義了面向對象編程里的數學基類——集合、函數、邏輯，可以繼承并重寫某些方法，比如邏輯里“什么是真”。

二、Transformer

Transformer 是通用的序列到序列函數近似器。在Embedding空間中，只要數據足夠、參數合適，Transformer 可以逼近幾乎任意連續函數。

不過 Transformer 僅是曲線擬合器，能夠學到復雜模式，但并不天然帶有邏輯組合與普遍構造能力。

而 Topos 恰好提供了一種邏輯與組合的框架，讓模型可以從“擬合函數”轉變為“生成邏輯結構”。關鍵在如何把 LLM 放進一個 topos 里。

三、LLM Topos 

Sridhar 證明了，LLM 所在的范疇實際上滿足 topos 的所有要求：

• (co)complete：任意圖形化的構造都能找到極限和余極限；
• 具備指數對象：可以自然表示 LLM 到 LLM 所有映射的空間；
• 有子對象分類器：能夠支持邏輯判別與語義建模。

所以，“LLM 范疇”可看作一個 topos，這樣LLM 就可以嵌入到一個廣義類集合的數學世界中：

在這個數學世界里，不僅能訓練模型，還能通過范疇論的通用構造來組織、組合和推理模型。

四、Topos GAIA

基于上述框架，Sridhar 提出了一種全新的 GenAI 架構，簡稱 GAIA（Generative AI Architectures）。

GAIA 的核心思想是：利用范疇的普遍構造來組合和生成結構，將神經網絡從黑箱函數變成邏輯機器。

Pullback信息對齊，Pushout模態合并，Equalizer一致性篩選，Coequalizer沖突調和，Exponential映射建模，Subobject Classifier邏輯推理，......

1. Pullback 是給定兩個對象 A、B 映射到同一個對象 C 的時候，尋找一個“最大公共子結構”，使得它們在 C 中的對應部分一致；

LLM 的不同模態（如文本和圖像）都可以映射到某個“語義空間”，Pullback 操作能自動找到這些模態中語義對齊的部分。

2. Pushout 是兩個對象 A、B 共享一個子對象 C 時，把它們“拼接”在一起，形成一個新的對象；

如果文本和圖像模型都依賴于某種“共同語義結構”，Pushout 可以自動融合它們，生成更完整的多模態表征。

3. Equalizer 是給定兩個平行箭頭 f, g: A → B 時，找出 A 中所有能讓 f(x)=g(x) 的元素，形成一個子對象；

如果有兩個不同的 LLM 對同一輸入給出不同輸出，Equalizer 就能抽取出它們意見一致的部分，作為更可靠的知識子集。

4. Coequalizer 則是給定兩個映射 f, g: A → B，找到一個“最小商對象”，把 f 和 g 的沖突部分識別為同一類；

當不同模型給出的答案不一致時，Coequalizer 可以作調和，形成一個更高抽象的統一輸出，例如歸納兩個不同具體病情診斷為“呼吸類疾病”。

5. Exponential Object 指數對象 B^A 表示所有從 A 到 B 的映射集合，模型之間的映射也可以被看作一個新的模型；

如果 A 是所有輸入狀態，B 是所有可能輸出，那么 B^A 就是輸入到輸出的所有可能演化路徑。

6. Subobject classifier 是一個特殊對象，用來表示某個子對象是否成立，效果等同于集合論中的 {true, false}；

子對象分類器能賦予 LLM 內部邏輯推理能力，比如對“是否滿足某個語義條件”進行判定，為 LLM 的邏輯性和可解釋性提供了結構支撐。

五、落地實現

理論很優美，但怎么樣落地呢？Sridhar 提出函子化的反向傳播（Functorial Backpropagation）設想。

傳統反向傳播（backprop）是數值計算過程，而在 GAIA 中被重新刻畫為范疇內的函子映射。

這樣不僅可以保持訓練過程與范疇結構的一致性，還能更自然地在不同模型之間遷移梯度信息，甚至可能實現跨范疇的學習機制。

函子化的反向傳播提供了一個方向：如果可以把梯度下降推廣到范疇結構上，就能夠在邏輯、組合、語義層面構建新一代 LLM。

重新思考 MoE 文中筆者分享過，MoE 可作為LLM認知框架中重要的分布式采樣推理方法，也可被看作一種模型組合策略：

GShard硬編碼，或DeepSeekMoE細分...，GPT-5模型路由，或依賴推理的scaling law涌現出策略，而 GAIA 則是基于數學基礎原理的強大符號化方法。

如果說 Transformer 是萬能函數擬合器，那么 Topos 下的 GAIA 或許就是邏輯組合機器。

在此意義上，筆者一直推崇的沿最優輸運方向的重整化，與 GAIA 可以實現融合，賦予概率流建模邏輯組合的能力：

• Topos 可以作為重整化的上層邏輯范疇，RG 流變成一個 Topos 內的態射選擇，不只是粗粒化 token 分布，而是粗粒化意義-關系圖譜；
• 從全局信息熵極小化，聚焦到局部的范疇化損失，可確定最優生成路徑，能夠提高語義一致性。這點也是指令模型與推理模型融合的關鍵。
• 將原始語料作為語義基礎，沿著語義損失最小路徑多級粗粒化；推理時，再以原始語料做語義驗證，應該能夠顯著降低幻覺，類似用原始語料做RAG。

不過目前GAIA 只是一個理論設想，是否真的能在實際任務中優于 Transformer，還需要卓越的工程化實現，以及大量實驗驗證。

我們“要么繼續堆疊更大的模型，要么尋找一個更優雅的數學物理世界” ，而 Topos + RG，或許就是這個世界的新入口。

文獻1，Topos Theory for Generative AI and LLMs，https://arxiv.org/html/2508.08293v1

本文轉載自???????????????清熙???????????，作者：王慶法