Tokenization謝幕？H-Net登場：Mamba作者新作正面硬剛Transformer
盡管近年來語言模型取得了驚人進展，這一進步主要源于從面向特定任務的專用模型轉向基于強大架構（如 Transformer）的通用模型——這些模型能從原始數據中直接學習一切。然而，諸如分詞（tokenization）之類的預處理步驟仍是構建真正端到端基礎模型的障礙。
「Mamba」作者之一的Albert Gu最新Paper又提出一系列新技術，實現了一種動態分塊機制（dynamic chunking）：它能自動學習內容與上下文相關的切分策略，并與模型的其余部分聯合訓練。將該機制嵌入顯式的層級網絡（hierarchical network：H-Net），即可用一個完全端到端訓練的模型替代“分詞→語言模型→反分詞”的傳統流水線。
- （左）兩級分層結構（S = 2）的 H-Net 整體架構概覽。（右）動態分塊（DC）示意圖。
- （右下）chunking層關鍵組件：
(a) 路由模塊——動態決定分塊邊界；
(b) 下采樣器——依據邊界指示符保留關鍵向量，縮短序列長度并保留語義重要位置。
- （右上）dechunking層關鍵組件：
(c) 平滑模塊——將離散塊插值為連續表示；(d) 上采樣器——依據邊界指示符將壓縮向量恢復至原始分辨率。
H-Net 所劃邊界的可視化。(a) 單階段 H-Net 主要在“類空格”字節處劃邊界，與 SpaceByte 非常相似。(b) 兩階段 H-Net 的第一階段同樣聚焦于類空格字節和每個單詞的首字符；第二階段則將文本劃分為更有意義的單元，如單詞或編號（例如 ‘(ii)’）。還觀察到，它常將多個語義相關的單詞合并為一個塊，例如 ‘the backbone’ 和 ‘such as’。
在算力與數據規模相匹配的條件下，僅在byte level運行的單級 H-Net 就能超越基于 BPE token 的強 Transformer 語言模型；將層級擴展為多級后，模型通過抽象層級的疊加進一步提效，數據擴展性顯著優于傳統模型，性能可與兩倍參數量的 token 級 Transformer 相媲美。
具體實驗結果：
英文（FineWeb-Edu） | 兩階段 H-Net 僅用 30B bytes 訓練即超越 BPE Transformer（1.3B 參數）。 |
中文 | 在 XWinograd-zh 上準確率從 59.9 → 66.3，顯著優于 BPE Transformer。 |
代碼 | 壓縮率更高，BPB 更低，表現優于 BPE Transformer。 |
DNA 序列 | 數據效率提升 3.6×，優于傳統 isotropic 模型。 |
Dynamic Chunking for End-to-End Hierarchical Sequence Modeling
https://arxiv.org/pdf/2507.07955
https://goombalab.github.io/blog/2025/hnet-past/本文轉載自??????智駐未來??
