引言：大規模語言模型的發展與挑戰

近年來，大規模語言模型（LLMs）在語言理解、生成和推理方面展現出了強大的能力。隨著模型規模的不斷擴大，新的能力也逐漸顯現。最新的大型模型不僅在推理基準測試上達到了前所未有的性能，還展示了多模態和多語言的能力，甚至能處理超過1M個令牌的上下文長度。

盡管小規模模型的性能也在迅速提升，這些提升主要來自于增加訓練長度。然而，這種方法與數據集大小的增長呈對數關系，最新的小型模型需要高達15T令牌才能將藝術狀態提高不到1-2%。

這些持續的改進表明，小型模型仍然存在未充分訓練的問題。在本工作中，我們探索了提高小型模型性能的替代方法，而不僅僅是增加訓練長度。一種解決方案是改進網絡在每個訓練步驟中接收的信息質量，通過替換下一個令牌預測任務來實現，采用更豐富的目標。我們采用了知識蒸餾方法，這種方法經常被用來減少小型模型的訓練時間，通過提供更豐富的梯度。

此外，我們還利用了幾種已知的Transformer修改技術，例如交替使用全局和局部注意力層，以及分組查詢注意力機制。通過這些技術的應用，我們的模型在與規模相當的開放模型相比，顯著提升了性能，并且在某些情況下，甚至能與規模是其兩倍的模型競爭。

總的來說，這些技術的應用不僅提升了小型模型的性能，也為大規模語言模型的發展提供了新的可能性。然而，這些模型的測試不能覆蓋所有應用場景，因此在部署或使用之前，所有用戶都應進行嚴格的安全測試。

論文標題、機構、論文鏈接和項目地址

1. 論文標題:Gemma 2: Improving Open Language Models at a Practical Size

2. 機構:Google DeepMind

3. 論文鏈接:??https://arxiv.org/pdf/2408.00118.pdf??

模型架構與技術創新

1. Gemma 2模型的基本架構

Gemma 2模型繼承了Gemma系列模型的基本架構，采用了解碼器僅Transformer架構（Vaswani et al., 2017）。這種架構特別強調了使用旋轉位置嵌入（RoPE）（Su et al., 2021）和近似的GeGLU非線性激活函數（Shazeer, 2020）。在Gemma 2中，與Gemma 1相比，采用了更深的網絡層次結構，并在每個Transformer子層中使用了RMSNorm（Zhang and Sennrich, 2019）進行輸入和輸出的規范化，以穩定訓練過程。

2. 知識蒸餾與訓練數據的使用

在Gemma 2的開發中，采用了知識蒸餾技術（Hinton et al., 2015），這是一種通過大模型（教師模型）來訓練小模型（學生模型）的方法。具體來說，通過模擬教師模型對每個令牌的概率分布，來訓練學生模型，而不是簡單的下一個令牌預測。這種方法可以給小模型提供更豐富的梯度信息，從而在不增加訓練令牌數量的情況下，顯著提高模型性能。例如，Gemma 2的27B模型在13萬億令牌上進行訓練，而9B和2B模型分別在8萬億和2萬億令牌上進行訓練。

3. 改進的Transformer技術：局部-全局注意力與群組查詢注意力

Gemma 2模型在其Transformer層中引入了局部滑動窗口注意力和全局注意力的交替使用（Beltagy et al., 2020a; Luong et al., 2015），這種設計旨在提高模型處理長序列數據的能力。此外，Gemma 2還采用了群組查詢注意力（Grouped-Query Attention, GQA）機制（Ainslie et al., 2023），該機制通過將注意力頭分組來提高推理時的速度，同時保持下游任務性能。這些技術的應用使得Gemma 2在多項自動化基準測試和人類評估中表現出色，相對于同等規模的開放模型顯著提升了性能。

訓練過程與數據處理

1. 使用的數據類型與規模

在本次訓練中，Gemma 2模型使用了大量的數據，其中27B模型使用了13萬億個主要是英語的token，9B模型使用了8萬億個token，而2B模型則使用了2萬億個token。這些token來源于多種數據源，包括網絡文檔、代碼和科學文章。這些數據的最終混合是通過類似于Gemini 1.0中的方法確定的。

2. 數據過濾與安全性考慮

為了確保數據的安全性和適用性，我們采用了與Gemma 1相同的數據過濾技術。具體來說，我們過濾了預訓練數據集以減少不需要或不安全的表達，過濾掉某些個人信息或其他敏感數據，從我們的預訓練數據混合中去除評估集的污染，并通過最小化敏感輸出的傳播來減少背誦的風險。

3. 計算基礎設施與優化技術

我們的模型是在TPUv4、TPUv5e和TPUv5p上訓練的。具體來說，2B模型在TPUv5e的2x16x16配置上訓練，總共使用了512個芯片；9B模型在TPUv4的8x16x32配置上訓練，使用了4096個芯片；而27B模型則在TPUv5p的8x24x32配置上訓練，使用了6144個芯片。我們還使用了類似于ZeRO-3的技術進一步分片優化器狀態。對于超過單個pod的規模，我們在數據中心網絡上執行數據副本減少，使用了Pathways方法和單控制器編程范式。此外，我們還使用了GSPMD分區器進行訓練步驟計算，以及MegaScale XLA編譯器。

模型性能與評估

1. 預訓練與指令調優模型的性能

預訓練模型和指令調優模型（IT模型）在多個自動化基準測試和人類評估中展示了顯著的性能。例如，Gemma 2模型在Chatbot Arena評估中表現優異，其27B模型的Elo評分高于多個競爭模型。此外，這些模型在處理多輪對話和遵循指令的能力上也有所提升，顯示出與之前版本相比的顯著改進。

2. 人類評估與自動化基準測試

Gemma 2模型在多種領域進行了廣泛的評估，包括自動化基準測試和人類偏好評估。在自動化基準測試中，Gemma 2的27B模型與其他大小相近的模型相比表現出色，甚至與訓練時間更長、參數量更大的模型競爭。在人類評估方面，Gemma 2模型在Chatbot Arena中的表現尤為突出，其中27B模型的Elo評分超過了多個競爭模型。

3. 知識蒸餾對小模型性能的影響

知識蒸餾是一種有效的技術，可以顯著提升小模型的性能。通過使用大模型作為教師模型，小模型可以在訓練過程中學習到更豐富的信息，從而提高其性能。例如，Gemma 2的2B和9B模型通過知識蒸餾訓練，與以往版本相比，在多個基準測試中顯示出了10%的性能提升。這證明了即使在相同的訓練代幣數量下，知識蒸餾也能顯著提高模型的質量和效果。

安全性、隱私與責任

1. 模型的隱私保護與數據安全

在大型語言模型的開發和部署過程中，隱私保護和數據安全是不可或缺的考慮因素。Gemma 2模型在訓練階段采用了多種數據過濾技術，以減少不希望或不安全的表達的風險。特別是，它們過濾掉了某些個人信息或其他敏感數據，以防止這些數據在模型訓練過程中被不當使用。此外，為了減少模型輸出中的敏感信息，Gemma 2還實施了嚴格的輸出監控機制，確保不會泄露用戶的私人信息。

2. 安全政策與訓練時的緩解措施

Gemma 2的開發團隊采取了多項措施來確保模型的安全性，包括在模型的訓練和微調階段采用安全策略和緩解措施。這些措施旨在防止模型生成有害內容，例如兒童性虐待和剝削內容、揭露可能導致傷害的個人身份信息、仇恨言論和騷擾以及危險或惡意內容。通過這些綜合性的安全策略，Gemma 2能夠在多種使用場景中提供更為安全的應用保障。

3. 對模型潛在風險的評估與管理

對于Gemma 2模型的潛在風險，開發團隊進行了全面的評估和管理。這包括使用外部基準評估模型的安全性能，以及運行保證評估來理解模型可能造成的傷害。例如，Gemma 2在多個安全基準上的表現優于先前的模型，特別是在兒童安全內容上的違規率顯著降低。此外，團隊還評估了模型在生物、放射性和核風險方面的知識水平，確保模型不會被用于不當用途。

通過這些綜合性的措施，Gemma 2不僅在功能性能上有所提升，同時也在安全性、隱私保護和責任性方面設立了新的標準，確保技術的積極影響最大化，同時降低潛在的負面影響。

本文轉載自 ??AI論文解讀??，作者：柏企