盡管近年來(lái)語(yǔ)言模型取得了驚人進(jìn)展，這一進(jìn)步主要源于從面向特定任務(wù)的專(zhuān)用模型轉(zhuǎn)向基于強(qiáng)大架構(gòu)（如 Transformer）的通用模型——這些模型能從原始數(shù)據(jù)中直接學(xué)習(xí)一切。然而，諸如分詞（tokenization）之類(lèi)的預(yù)處理步驟仍是構(gòu)建真正端到端基礎(chǔ)模型的障礙。

「Mamba」作者之一的Albert Gu最新Paper又提出一系列新技術(shù)，實(shí)現(xiàn)了一種動(dòng)態(tài)分塊機(jī)制（dynamic chunking）：它能自動(dòng)學(xué)習(xí)內(nèi)容與上下文相關(guān)的切分策略，并與模型的其余部分聯(lián)合訓(xùn)練。將該機(jī)制嵌入顯式的層級(jí)網(wǎng)絡(luò)（hierarchical network：H-Net），即可用一個(gè)完全端到端訓(xùn)練的模型替代“分詞→語(yǔ)言模型→反分詞”的傳統(tǒng)流水線。

• （左）兩級(jí)分層結(jié)構(gòu)（S = 2）的 H-Net 整體架構(gòu)概覽。（右）動(dòng)態(tài)分塊（DC）示意圖。
• （右下）chunking層關(guān)鍵組件：

(a) 路由模塊——?jiǎng)討B(tài)決定分塊邊界；

(b) 下采樣器——依據(jù)邊界指示符保留關(guān)鍵向量，縮短序列長(zhǎng)度并保留語(yǔ)義重要位置。

• （右上）dechunking層關(guān)鍵組件：

(c) 平滑模塊——將離散塊插值為連續(xù)表示；(d) 上采樣器——依據(jù)邊界指示符將壓縮向量恢復(fù)至原始分辨率。

H-Net 所劃邊界的可視化。(a) 單階段 H-Net 主要在“類(lèi)空格”字節(jié)處劃邊界，與 SpaceByte 非常相似。(b) 兩階段 H-Net 的第一階段同樣聚焦于類(lèi)空格字節(jié)和每個(gè)單詞的首字符；第二階段則將文本劃分為更有意義的單元，如單詞或編號(hào)（例如 ‘(ii)’）。還觀察到，它常將多個(gè)語(yǔ)義相關(guān)的單詞合并為一個(gè)塊，例如 ‘the backbone’ 和 ‘such as’。

在算力與數(shù)據(jù)規(guī)模相匹配的條件下，僅在byte level運(yùn)行的單級(jí) H-Net 就能超越基于 BPE token 的強(qiáng) Transformer 語(yǔ)言模型；將層級(jí)擴(kuò)展為多級(jí)后，模型通過(guò)抽象層級(jí)的疊加進(jìn)一步提效，數(shù)據(jù)擴(kuò)展性顯著優(yōu)于傳統(tǒng)模型，性能可與兩倍參數(shù)量的 token 級(jí) Transformer 相媲美。

具體實(shí)驗(yàn)結(jié)果：

Dynamic Chunking for End-to-End Hierarchical Sequence Modeling
https://arxiv.org/pdf/2507.07955
https://goombalab.github.io/blog/2025/hnet-past/

本文轉(zhuǎn)載自?????????PaperAgent??