艾倫人工智能研究所 (AI2) 發布 OLMo 2：在多達 5T 代幣上訓練的新系列開源 7B 和 13B 語言模型 原創 精華
01、概述
在人工智能的世界里，語言模型的發展無疑是最令人矚目的領域之一。這些模型不僅在機器翻譯、內容生成和對話式AI應用中扮演著關鍵角色，而且它們的發展速度和影響力正以前所未有的速度增長。今天，我們就來聊聊這個領域最新的突破——OLMo 2，一個由艾倫人工智能研究所（Allen Institute for AI）推出的開源語言模型家族，它們正在重新定義開源AI的邊界。
02、語言模型的挑戰與開源的重要性
語言模型的發展一直面臨著一個難題：專有模型的主導地位。這些模型通常因為擁有豐富的資源和優化的訓練流程而表現優于開源系統。它們利用龐大的數據集、計算能力和先進的專有方法，形成了一個性能差距，這個差距限制了AI技術的普及和創新，因為只有資金雄厚的組織才能負擔得起開發這類尖端技術。
然而，開源社區的努力不容忽視。盡管目前的開源方法在可擴展性、訓練穩定性和模型性能方面仍需改進，但最近的進展表明，我們正在迎來一個全新的、性能上能與專有模型競爭的開源模型時代。
03、OLMo 2
艾倫人工智能研究所的研究團隊推出了OLMo 2，這是一個具有里程碑意義的開源語言模型家族。這些模型提供了7億（7B）和13億（13B）參數配置，訓練時使用了高達5萬億個token，采用了最先進的技術。通過改進訓練穩定性、采用分階段訓練流程和整合多樣化的數據集，研究人員縮小了與專有系統（如Llama 3.1）的性能差距。OLMo 2在層歸一化、旋轉位置嵌入和Z-loss正則化等方面進行了改進，增強了模型的魯棒性。
訓練過程：分階段的創新
OLMo 2的訓練采用了分兩個階段的課程方法。在第一階段，占預訓練預算的90%，模型在包含3.9萬億個token的OLMo-Mix-1124數據集上進行訓練，這些token來自DCLM和Starcoder等高質量的數據倉庫。第二階段則涉及對Dolmino-Mix-1124數據集進行微調，這是一個精選的843億個token的數據集，包含了基于網絡和特定領域的內容。模型融合（model souping）等技術，通過合并檢查點來優化性能，在實現7B和13B模型的最終版本中發揮了關鍵作用。
04、性能評估：OLMo 2的新基準
OLMo 2的性能在開源語言模型領域樹立了新的基準。與其前身OLMo-0424相比，OLMo 2在所有評估任務中都顯示出顯著的提升。值得注意的是，OLMo 2 7B的性能超過了Llama-3.1 8B，而OLMo 2 13B則超越了Qwen 2.5 7B，盡管它們的訓練FLOPs更少。使用Open Language Modeling Evaluation System（OLMES）進行的評估，這是一個包含20個基準的套件，證實了這些增益，并突出了在知識回憶、推理和通用語言能力方面的優勢。
05、研究的關鍵收獲
研究的關鍵收獲包括以下幾點：
- 訓練穩定性的改進：RMSNorm和學習率退火等技術減少了預訓練期間的損失峰值，確保了模型性能的一致性。
- 創新的分階段訓練：后期預訓練干預，包括數據課程調整，允許針對性地增強模型能力。
- 可操作的評估框架：OLMES的引入為模型開發提供了結構化的基準，并有效地跟蹤進展。
- 后訓練方法：監督微調、偏好調整和可驗證獎勵的強化學習增強了模型遵循指令的能力。
- 數據集的多樣性和質量：在Dolmino-Mix-1124等數據集上進行預訓練，確保了模型能夠跨多個領域泛化。
06、結語
總之，OLMo 2的成就標志著語言模型領域的轉變。通過解決訓練穩定性和評估透明度等挑戰，研究人員為開源AI樹立了新的標準。這些模型不僅縮小了與專有系統的差距，還展示了協作創新在推進人工智能方面的潛力。OLMo 2的倡議強調了開放獲取高性能AI模型的變革力量，為更公平的技術進步鋪平了道路。
在這個快速發展的領域，OLMo 2的出現無疑是一個振奮人心的消息。它不僅為研究人員和開發者提供了強大的工具，也為那些渴望在AI領域取得突破的創新者提供了新的可能性。隨著開源AI的不斷進步，我們有理由相信，未來將有更多的突破等待著我們去發現和實現。
參考：
- ??https://huggingface.co/collections/allenai/olmo-2-674117b93ab84e98afc72edc??
- ??https://allenai.org/blog/olmo2??
本文轉載自公眾號Halo咯咯 作者：基咯咯
