英偉達的通用大模型 Nemotron，開源了最新的 3400 億參數版本。

本周五，英偉達宣布推出 Nemotron-4 340B。它包含一系列開放模型，開發人員可以使用這些模型生成合成數據，用于訓練大語言模型（LLM），可用于醫療健康、金融、制造、零售等所有行業的商業應用。

高質量的訓練數據在自定義 LLM 的響應性能、準確性和質量中起著至關重要的作用 —— 但強大的數據集經常是昂貴且難以訪問的。通過獨特的開放模型許可，Nemotron-4 340B 為開發人員提供了一種免費、可擴展的方式來生成合成數據，從而幫助人們構建強大的 LLM。

Nemotron-4 340B 系列包括基礎、Instruct 和 Reward 模型，它們形成了一個 pipeline，用于生成訓練和改進 LLM 的合成數據。這些模型經過優化，可與 NVIDIA NeMo 配合使用，后者是一個用于端到端模型訓練的開源框架，包括數據管理、定制和評估。它們還針對開源 NVIDIA TensorRT-LLM 庫的推理進行了優化。

英偉達表示，Nemotron-4 340B 現已可從 Hugging Face 下載。開發人員很快就能在 ai.nvidia.com 上訪問這些模型，它們將被打包為 NVIDIA NIM 微服務，并帶有可在任何地方部署的標準應用程序編程接口。

Hugging Face 下載：https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911

導航 Nemotron 以生成合成數據

大語言模型可以幫助開發人員在無法訪問大型、多樣化標記數據集的情況下生成合成訓練數據。

Nemotron-4 340B Instruct 模型創建了多樣化的合成數據，模仿了現實世界數據的特征，有助于提高數據質量，從而提高自定義 LLM 在各個領域的性能和魯棒性。

為了提高 AI 生成的數據的質量，開發人員可以使用 Nemotron-4 340B Reward 模型來篩選高質量的響應。Nemotron-4 340B Reward 根據五個屬性對響應進行評分：可用性、正確性、連貫性、復雜性和冗長性。它目前在 AI2 創建的 Hugging Face RewardBench 排行榜上名列第一，用于評估獎勵模型的能力、安全性和缺陷。

在這個合成數據 pipeline 中，（1）Nemotron-4 340B Instruct 模型用于生成基于文本的合成輸出。然后，評估模型（2） Nemotron-4 340B Reward 評估生成的文本并提供反饋，從而指導迭代改進并確保合成數據的準確。

研究人員還可以使用自己的專有數據，結合已包含的 HelpSteer2 數據集，來定制 Nemotron-4 340B 基礎模型，從而創建自有的 Instruct 模型或獎勵模型。

論文地址：https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf

方法介紹

Nemotron-4-340B-Base 模型架構是一種標準的僅解碼器 Transformer 架構，具有因果注意力掩碼、旋轉位置嵌入 (RoPE)、SentencePiece tokenizer 等。Nemotron-4-340B-Base 的超參數如表 1 所示。它有 94 億個嵌入參數和 3316 億個非嵌入參數。

下表為 Nemotron-4-340B-Base 模型的一些訓練細節，表中總結了批大小漸變的 3 個階段，包括每次迭代時間和模型 FLOP/s 利用率。

為了開發強大的獎勵模型，英偉達收集了一個包含 10k 人類偏好數據的數據集，稱為 HelpSteer2，并公開發布了這個數據集 。

數據集地址：https://huggingface.co/datasets/nvidia/HelpSteer2

回歸獎勵模型 Nemotron-4-340B-Reward 建立在 Nemotron-4-340B-Base 模型之上，并用新的獎勵頭替換最后的 softmax 層。這個頭是一個線性投影，它將最后一層的隱藏狀態映射到 HelpSteer 屬性（有用性、正確性、連貫性、復雜性、冗長性）的五維向量中。在推理過程中，這些屬性值可以通過加權和聚合為總體獎勵。這種獎勵模式為訓練 Nemotron-4-340B-Instruct 提供了堅實的基礎。

該研究發現這樣的模型在 RewardBench 上表現非常出色：

用 NeMo 微調，用 TensorRT-LLM 優化推理

使用開源的 NVIDIA NeMo 和 NVIDIA TensorRT-LLM，開發者可以優化他們的指導模型和獎勵模型的效率，從而生成合成數據并對響應進行評分。

所有 Nemotron-4 340B 模型都使用 TensorRT-LLM 進行了優化，以利用張量并行性，這是一種模型并行性，其中單個權重矩陣在多個 GPU 和服務器上分割，從而實現大規模的高效推理。

Nemotron-4 340B Base 經過 9 萬億個 token 的訓練，可以使用 NeMo 框架進行定制，以適應特定的用例或領域。這種微調過程受益于大量的預訓練數據，并為特定的下游任務提供更準確的輸出。

在這當中，NeMo 框架提供了多種定制方法，包括監督微調和參數高效微調方法，如低秩自適應 (LoRA)。

為了提升模型質量，開發者可以使用 NeMo Aligner 和由 Nemotron-4 340B Reward 注釋的數據集對其模型進行對齊。對齊是訓練大型語言模型的一個關鍵步驟，其中模型行為通過使用類似 RLHF 算法進行微調，以確保其輸出安全、準確、符合上下文且與其既定目標一致。 

 尋求企業級支持和生產環境安全的企業也可以通過云原生的 NVIDIA AI Enterprise 軟件平臺訪問 NeMo 和 TensorRT-LLM。該平臺為生成式 AI 基礎模型提供了加速和高效的運行時環境。 

評測數據

圖 1 突出顯示了 Nemotron-4 340B 模型家族在選定任務中的準確性。具體來說：

Nemotron-4-340B-Base 在 ARC-Challenge、MMLU 和 BigBench Hard 基準等常識推理任務上與 Llama-3 70B、Mixtral 8x22B 和 Qwen-2 72B 等開放訪問基礎模型相媲美。

在指令遵循和聊天功能方面，Nemotron-4-340B-Instruct 超越了相應的指令模型。Nemotron-4-340B Reward 在 RewardBench 上實現了最高準確率，甚至超越了 GPT-4o-0513 和 Gemini 1.5 Pro-0514 等專有模型。

在 Nemotron-4-340B 推出后，評測平臺立即放出了它的基準成績，可見在 Arena-Hard-Auto 等硬基準測試中它的成績超越了 Llama-3-70b

這是否意味著，新的業界最強大模型已經出現？