一夜小模型王座易主！英偉達(dá)發(fā)布超強(qiáng)小模型，新混合架構(gòu)威力超Transformer，性能、速率、緩存全面超越Llama3.2！

作者：言征 2024-11-25 08:54:41

日前，NVIDIA剛剛發(fā)布了Hymba-1.5B-Base，這是一個將Transformer注意力機(jī)制與狀態(tài)空間模型（SSM）集成的小型語言模型。

編輯｜言征

小模型王座一夜易主了！冷不防，英偉達(dá)就丟出了一個新混合架構(gòu)，以后不再只是Transformer的天下了。

日前，NVIDIA剛剛發(fā)布了Hymba-1.5B-Base，這是一個將Transformer注意力機(jī)制與狀態(tài)空間模型（SSM）集成的小型語言模型。

這種全新的混合架構(gòu)只使用1.5T的Tokens進(jìn)行訓(xùn)練，性能、速度卻全面超越了市面上主流的所有小模型！英偉達(dá)的科學(xué)家兼研究經(jīng)理Pavlo Molchanov在X上宣布了這一最新發(fā)展。

圖片

Hugging Face 的技術(shù)負(fù)責(zé)人及大型語言模型（LLMs）專家 Philipp Schmid 對此發(fā)展發(fā)表評論說：“Hymba 在僅使用1.5萬億個標(biāo)記進(jìn)行訓(xùn)練的條件下，性能超越了其他小型大型語言模型，如Meta 3.2或SmolLM v2。”

圖片

1.雙重架構(gòu)、精確回憶、高效上下文

據(jù)“抱抱臉”上公開資料顯示，Hymba-1.5B-Base是在今年年9月1日至2024年11月10日期間進(jìn)行訓(xùn)練的，許可證方面則根據(jù)NVIDIA開放模型許可協(xié)議發(fā)布。

Hymba模型使用雙重結(jié)構(gòu)，具有精確回憶的注意力頭和高效上下文總結(jié)的SSM頭。

具體來講，其特點(diǎn)在于采用了混合頭并行架構(gòu)，該架構(gòu)將Transformer注意力機(jī)制與狀態(tài)空間模型（SSM）相結(jié)合，以提高效率。注意力頭提供高分辨率的回憶能力，而SSM頭則實現(xiàn)高效的上下文總結(jié)。此外，模型還引入了可學(xué)習(xí)的Meta標(biāo)記，這些標(biāo)記被添加到提示之前，用于存儲關(guān)鍵信息，并減輕與注意力機(jī)制相關(guān)的“被迫關(guān)注”負(fù)擔(dān)。通過引入跨層鍵值（KV）共享和部分滑動窗口注意力，該模型得到了進(jìn)一步優(yōu)化，從而實現(xiàn)了緊湊的緩存大小。

在一項對比相同設(shè)置下不同架構(gòu)的受控研究中，Hymba-1.5B-Base 展現(xiàn)出了顯著優(yōu)勢。

它在所有公開可用的、參數(shù)少于20億的模型中表現(xiàn)優(yōu)異，并以平均準(zhǔn)確率高出1.32%、緩存大小減少11.67倍、吞吐量提升3.49倍的成績超越了Llama-3.2-3B。

2.模型架構(gòu)非常巧妙

Hymba-1.5B-Base是一款基礎(chǔ)文本到文本的模型，可用于多種自然語言生成任務(wù)。論文《Hymba: A Hybrid-head Architecture for Small Language Models》進(jìn)一步闡述了模型的思想和實驗對比。

論文地址：https://arxiv.org/pdf/2411.13676

該模型采用混合架構(gòu)，其中Mamba和注意力頭并行運(yùn)行。每個提示前都會添加一組可學(xué)習(xí)的標(biāo)記（稱為Meta標(biāo)記），以提高模型的有效性。該模型在兩層之間以及單層內(nèi)的各個頭之間共享鍵值（KV）緩存。90%的注意力層采用滑動窗口注意力機(jī)制。

Hymba-1.5B-Base的模型嵌入大小為1600，擁有25個注意力頭，MLP中間維度為5504，總層數(shù)為32層，16個SSM狀態(tài)，3個全注意力層，其余為滑動窗口注意力層。與標(biāo)準(zhǔn)Transformer不同，Hymba中的每個注意力層都并行結(jié)合了標(biāo)準(zhǔn)注意力頭和Mamba頭的混合組合。此外，它還使用了分組查詢注意力（GQA）和旋轉(zhuǎn)位置嵌入（RoPE）。

圖片

概括來講，這架構(gòu)有三個值得注意的特點(diǎn)：

首先，在同一層內(nèi)融合注意力頭和SSM頭，對相同輸入進(jìn)行并行且互補(bǔ)的處理；此外，還引入了元標(biāo)記（meta tokens），這些標(biāo)記被添加到輸入序列的前面，并與所有后續(xù)標(biāo)記進(jìn)行交互，從而存儲重要信息并減輕注意力中“必須關(guān)注”的負(fù)擔(dān)；最后，還結(jié)合了跨層KV共享和全局-局部注意力，進(jìn)一步提升內(nèi)存和計算效率。

圖片

3.性能超越所有主流小模型，包括Llama3.2

Hymba-1.5B-Base在所有低于20億的公開模型中表現(xiàn)優(yōu)異。

圖片

研究人員從準(zhǔn)確率、緩存大小、處理速度三個方面綜合評估了現(xiàn)在主流的小語言模型，比如Meta的Llama3.2-1B、Apple的OpenELM-1B、微軟的Phi-1.5B、抱抱臉的SmoILM2-1.7B、阿里巴巴的Qwen2.5-1.5B等。

綜合評估和消融研究表明，Hymba不僅在眾多具有代表性的任務(wù)中樹立了新的最優(yōu)（SOTA）基準(zhǔn)性能，而且在效率方面相比Transformer和之前的混合模型也更高。例如，在常識推理任務(wù)中，Hymba-1.5B的平均準(zhǔn)確率比Llama-3.2-3B高出1.32%，而所需的緩存大小卻小了11.67倍，速度快了3.49倍。

圖片

NVIDIA 還提供了一個設(shè)置腳本，以簡化環(huán)境配置，支持CUDA 12.1和12.4版本。

4.不過，需要小心

英偉達(dá)承認(rèn)該模型是利用從互聯(lián)網(wǎng)上原始抓取的數(shù)據(jù)進(jìn)行訓(xùn)練的，這就意味著訓(xùn)練數(shù)據(jù)包含有毒語言、不安全內(nèi)容和社會偏見。因此，該模型可能會放大這些偏見，并在接收到有毒提示時返回有毒的回應(yīng)。

即使提示本身不包含任何明顯冒犯性的內(nèi)容，該模型也可能生成不準(zhǔn)確、遺漏關(guān)鍵信息或包含不相關(guān)或冗余文本的答案，從而產(chǎn)生社會不可接受或不受歡迎的文本。

除了有毒內(nèi)容方面需要注意，工程方面也需要注意：

用戶應(yīng)在生成期間將批處理大小設(shè)置為1，因為當(dāng)前設(shè)置不完全支持帶有滑動窗口注意的填充元標(biāo)記。然而，任何批次大小都適用于訓(xùn)練和預(yù)填充。