OpenAI GPT-OSS 120B/20B 詳解：性能追平專有模型，開發(fā)者可本地微調
2025年8月5日，OpenAI取得新突破，發(fā)布了兩款基于Apache 2.0許可的開放權重推理模型——GPT-OSS-120B和GPT-OSS-20B。這些模型將以往只能通過API獲取的強大功能賦予了開發(fā)者、研究人員和企業(yè)，便于他們進行微調、自主部署和擴展。
什么是GPT-OSS？What is GPT-OSS?
GPT-OSS（生成式預訓練Transformer開源軟件，Generative Pre-trained Transformer Open Source Software）是OpenAI于2025年8月5日根據(jù)Apache 2.0許可發(fā)布的一系列開放權重語言模型。此次發(fā)布標志著OpenAI回歸開源原則，效仿早期的GPT-2等模型，旨在讓開發(fā)者、研究人員、企業(yè)和政府都能更廣泛地使用先進的人工智能技術。該計劃支持本地部署，減少對基于云的API的依賴，增強隱私保護，并支持低延遲應用程序。這些模型專為在消費級和企業(yè)級硬件上進行推理、工具使用以及高效運行而設計。
GPT-OSS系列中的兩個主要模型為：
- gpt-oss-120b：一個擁有1170億參數(shù)的模型，針對高性能任務進行了優(yōu)化。
- gpt-oss-20b：一款擁有210億參數(shù)的模型，專為資源受限的環(huán)境而設計。
這兩種模型均可在Hugging Face等平臺上免費獲取，OpenAI的Cookbook及其他資源還提供了詳盡的文檔和部署指南。
模型架構與規(guī)格Model Architecture and Specifications
根據(jù)OpenAI的介紹中的信息，這些模型具有以下技術細節(jié)：
- gpt-oss-120b：
- 參數(shù)：共計1170億個，每個詞元有51億個活躍參數(shù)。
- 架構：具有36層和128個專家的混合專家（MoE，Mixture-of-Experts），每個詞元選擇前4個專家。
- 內存要求：可在單個80GB GPU（如英偉達H100）上運行。
- 上下文長度：131,072個詞元，支持長上下文推理和復雜任務。
- 檢查點大小：60.8 GiB，量化為MXFP4格式（每個參數(shù)4.25比特）。
- gpt-oss-20b：
- 參數(shù)：共計210億個，每個詞元有36億個活躍參數(shù)。
- 架構：具有24層和32個專家的混合專家（MoE）架構，每個詞元也選擇前4個專家。
- 內存要求：可在內存為16GB的設備上運行，適用于消費級硬件和邊緣設備。
- 上下文長度：131,072個詞元。
- 檢查點大小：12.8 GiB，也采用MXFP4格式。
這兩種模型都使用分組多查詢注意力機制（分組大小為8）、旋轉位置嵌入（RoPE，Rotary Positional Embedding），以及擁有201,088個詞元的o200k_harmony分詞器，該分詞器通過OpenAI的TikToken庫開源。該架構基于GPT-2和GPT-3的基于Transformer的創(chuàng)新技術構建，采用了2880的殘差流維度和均方根歸一化以確保穩(wěn)定性。
混合專家（MoE）和量化技術的使用顯著降低了計算需求，實現(xiàn)了高效推理。例如，gpt-oss-120b在性能上可與更大的模型相媲美，同時可在單個高端GPU上運行，而gpt-oss-20b則針對筆記本電腦或邊緣系統(tǒng)等設備的輕量級部署進行了優(yōu)化。
訓練與數(shù)據(jù)Training and Data
GPT-OSS的訓練過程涉及數(shù)萬億個詞元，主要為英語，重點集中在科學、技術、工程和數(shù)學（STEM）、編碼以及常識領域。訓練數(shù)據(jù)的知識截止日期為2024年6月，以確保在此之前的內容具有相關性。關鍵訓練細節(jié)包括：
- 預訓練：在英偉達H100 GPU上進行，gpt-oss-120b模型大約需要210萬個H100小時。較小的gpt-oss-20b模型所需資源明顯較少，不過具體數(shù)字并未明確說明。
- 數(shù)據(jù)篩選：對有害內容（包括化學、生物、放射性和核（CBRN）數(shù)據(jù)）進行了篩選，以降低被濫用的風險。
- 訓練后：包括有監(jiān)督微調以及高算力強化學習（RL），以使模型符合OpenAI的模型規(guī)范，強調道德行為以及抵御濫用的穩(wěn)健性。
- 提示格式：采用和諧聊天格式，支持系統(tǒng)、開發(fā)者、用戶、助手和工具等角色，增強推理和工具使用能力。
Harmony格式在GitHub上有一個渲染器，它允許靈活的交互，包括通過系統(tǒng)提示調整推理級別（低、中、高）。
性能與基準測試Performance and Benchmarks
這些模型已經(jīng)在各種基準測試中經(jīng)過了嚴格評估，與OpenAI的o4-mini和o3-mini等專有模型相比，展現(xiàn)出了具有競爭力的性能。以下是OpenAI文檔中關鍵基準測試結果的總結：
主要觀察結果：
- gpt-oss-120b在諸如GPQA鉆石和MMLU等推理任務中與o4-mini幾乎不相上下，在競賽數(shù)學（美國數(shù)學邀請賽AIME）和編碼（SWE-Bench、Codeforces）方面表現(xiàn)出色。
- gpt-oss-20b的表現(xiàn)與o3-mini相當，盡管規(guī)模較小，但在數(shù)學和編碼方面表現(xiàn)出色，適合資源受限的環(huán)境。
- 兩種模型都支持可調節(jié)的推理級別，測試時縮放顯示，隨著思維鏈（CoT，Chain-of-Thought）輸出變長，準確率呈對數(shù)線性提升，盡管這會增加延遲。
部署與可訪問性Deployment and Accessibility
正如在OpenAI的介紹和微軟的博客中所詳述的，GPT-OSS旨在實現(xiàn)廣泛的可訪問性和靈活的部署：
- 可用性：模型可在Hugging Face上免費獲取，帶有MXFP4格式的量化權重，以實現(xiàn)高效推理。可通過gpt-oss.com訪問測試平臺。
- 本地部署：由Ollama、vLLM和LM Studio等工具支持，并提供針對PyTorch、Apple Metal和NVIDIA GPU的參考實現(xiàn)。
微軟集成：
- Azure AI Foundry：提供一個用于微調與部署GPT-OSS模型的平臺，具備內置安全工具，以及面向醫(yī)療、金融和零售等行業(yè)的企業(yè)級支持。
- Windows AI Foundry：通過ONNX Runtime和Foundry Local針對Windows設備優(yōu)化GPT-oss-20b，實現(xiàn)筆記本電腦和工作站等消費級硬件上的高性能推理。
- Azure AI Studio和GitHub模型：開發(fā)人員可以通過這些平臺訪問GPT-OSS進行試驗和部署，利用微軟的基礎設施實現(xiàn)可擴展性。
- AWS支持：可在AWS SageMaker JumpStart上進行基于云的部署。
- 指南與工具：OpenAI的Cookbook提供了關于設置、微調以及與LangChain和LlamaIndex等工具集成的全面指南。
這些模型支持智能體工作流的結構化輸出，使其適用于需要精確JSON輸出的應用場景，如API集成或自動化工作流。
安全與倫理考量Safety and Ethical Considerations
OpenAI在GPT-OSS發(fā)布中優(yōu)先考慮了安全性，以解決人們對開放權重模型可能被濫用的擔憂：
- 預訓練安全性：從訓練數(shù)據(jù)中過濾與化學、生物、輻射和核（CBRN）相關的內容，以防止有害應用。
- 訓練后對齊：采用審慎對齊、拒絕指令的層次結構以及越獄魯棒性訓練，以OpenAI的模型規(guī)范為指導。
- 對抗性測試：在準備框架下進行，模擬惡意微調場景。結果表明，gpt-oss-120b未達到造成危害的高能力閾值，詳情見OpenAI的安全報告。
- 外部合作：邀請了METR和SecureBio等專家，實施了22條安全建議中的11條，包括協(xié)議調試數(shù)據(jù)和明確假設。
- 紅隊測試：在Kaggle上發(fā)起了一項50萬美元的紅隊測試挑戰(zhàn)賽，以識別漏洞，數(shù)據(jù)集和報告將開源。
安全性能指標顯示，gpt-oss-120b在處理非法/非暴力內容方面表現(xiàn)優(yōu)于o4-mini（0.692對0.658），但在指令層級（0.832對0.993）和幻覺率（0.168對0.234）方面落后。OpenAI建議不要將這些模型用于醫(yī)療診斷或治療，并建議向用戶隱瞞思維鏈（CoT）輸出，以防止他們接觸到潛在有害內容。
