在文生圖領(lǐng)域大火的 Stability AI，今天宣布了其 2024 年的第一個(gè)新 AI 模型：Stable Code 3B。顧名思義，Stable Code 3B 是一個(gè)擁有 30 億參數(shù)的模型，專注于輔助代碼任務(wù)。 

無需專用 GPU 即可在筆記本電腦上本地運(yùn)行，同時(shí)仍可提供與 Meta 的 CodeLLaMA 7B 等大型模型具有競爭力的性能。

2023 年底，Stability AI 便開始推動(dòng)更小、更緊湊、更強(qiáng)大模型的發(fā)展，比如用于文本生成的 StableLM Zephyr 3B 模型。

隨著 2024 年的到來，Stability AI 開年便馬不停蹄的發(fā)布 2024 年第一個(gè)大型語言模型 Stable Code 3B，其實(shí)這個(gè)模型早在去年八月就發(fā)布了預(yù)覽版 Stable Code Alpha 3B，此后 Stability AI 一直在穩(wěn)步改進(jìn)該技術(shù)。新版的 Stable Code 3B 專為代碼補(bǔ)全而設(shè)計(jì)，具有多種附加功能。

與 CodeLLaMA 7b 相比，Stable Code 3B 大小縮小了 60%，但在編程任務(wù)上達(dá)到了與前者相媲美的性能。

Stable Code 3B 在 MultiPL-E 基準(zhǔn)上實(shí)現(xiàn)了 SOTA 性能（與類似大小的模型相比），例如 Stable Code 3B 在 Python、C++、JavaScript、Java、PHP 和 Rust 編程語言上的性能優(yōu)于 StarCoder。

研究介紹

Stable Code 3B 基于 Stable LM 3B 訓(xùn)練而成，而 Stable LM 3B 訓(xùn)練 token 數(shù)達(dá)到 4 萬億，更進(jìn)一步的，Stable Code 使用了軟件工程中特定的數(shù)據(jù)（包括代碼）進(jìn)行訓(xùn)練。

Stable Code 3B 提供了更多的特性，即使跨多種語言也表現(xiàn)良好，還兼具其他優(yōu)勢，比如支持 FIM（Fill in the Middle ，一種新的訓(xùn)練技巧）功能，還能擴(kuò)展上下文大小。基礎(chǔ) Stable Code 在多達(dá) 16,384 個(gè) token 序列上進(jìn)行訓(xùn)練，遵循與 CodeLlama 類似的方法，即采用旋轉(zhuǎn)嵌入（Rotary Embeddings），這種方法可以選擇性的允許修改多達(dá) 1,000,000 個(gè)旋轉(zhuǎn)基（rotary base），進(jìn)一步將模型的上下文長度擴(kuò)展到 100k 個(gè) token。

在模型架構(gòu)方面，Stable Code 3B 模型是一個(gè)純解碼器的 transformer，類似于 LLaMA 架構(gòu)，并進(jìn)行了以下修改：

• 位置嵌入：旋轉(zhuǎn)位置嵌入應(yīng)用于頭嵌入維度的前 25%，以提高吞吐量；
• Tokenizer：使用 GPTNeoX Tokenizer.NeoX 的修改版本，添加特殊 token 來訓(xùn)練 FIM 功能，例如 < FIM_PREFIX>、<FIM_SUFFIX > 等。

訓(xùn)練

訓(xùn)練數(shù)據(jù)集

Stable Code 3B 的訓(xùn)練數(shù)據(jù)集由 HuggingFace Hub 上提供的開源大規(guī)模數(shù)據(jù)集過濾混合組成，包括 Falcon RefinedWeb、CommitPackFT、Github Issues、StarCoder，并進(jìn)一步用數(shù)學(xué)領(lǐng)域的數(shù)據(jù)補(bǔ)充訓(xùn)練。

訓(xùn)練基礎(chǔ)設(shè)施

• 硬件：Stable Code 3B 在 Stability AI 集群上使用 256 個(gè) NVIDIA A100 40GB GPU 進(jìn)行訓(xùn)練。
• 軟件：Stable Code 3B 采用 gpt-neox 的分支，使用 ZeRO-1 在 2D 并行性（數(shù)據(jù)和張量并行）下進(jìn)行訓(xùn)練，并依賴 flash-attention、SwiGLU、FlashAttention-2 的旋轉(zhuǎn)嵌入內(nèi)核。

最后，我們看一下 Stable Code 3B 的性能表現(xiàn)：

關(guān)于 Stable Code 3B 更詳細(xì)的技術(shù)報(bào)告會(huì)在之后發(fā)布，大家可以期待一下。