剛剛，北大&360里程碑式突破！32B安全分碾壓千億巨獸
2025年9月23日，由「北大-360大模型聯合實驗室」研發的TinyR1-32B模型正式發布。
近年來開源大模型層出不窮，但對「安全性」的關注卻嚴重不足。
北大-360聯合實驗室聚焦于大模型安全方向，以極高的安全性能和輕量化的創新設計，推出更安全的模型TinyR1-32B。
在安全能力上，TinyR1-32B超同等尺寸Qwen3-32B模型25分，以及最新版DeepSeek-R1-0528 17分，在開源大模型賽道上實現了里程碑式突破。
小模型的大突破
盡管該模型僅有DeepSeek R1-0528的5%參數量，卻在多個核心任務上展現出「以小博大」的實力。
其不僅在推理能力、通用指令對齊方面均取得令人意想不到的成果，部分能力已超越DeepSeek R1-0528等超大模型，并在同參數量級的 32B 開源模型中表現突出，更在安全對齊方面取得了突破性進展，以碾壓性優勢力拔頭籌：
- 推理能力：在數學、科學、代碼等任務上大幅超過Qwen3-32B，整體推理性能達到DeepSeek R1-0528的93%；
- 通用對齊：在IFEval測評中取得89.2分，顯著高于DeepSeek R1-0528的80.9分；
- 安全對齊：Constructive Safety得分接近90分，遠超DeepSeek R1-0528及其他模型。
更令人驚訝的是，在訓練過程中，TinyR1-32B僅使用20k條數據進行SFT微調，便完成了這一系列的突破。
不同模型各項能力指標
不同模型各項能力指標（注：黑體為32B模型下的最好結果，紅體為所有模型下的最好結果）
既安全又有用
三層次安全評測
為了衡量不同模型的安全表現，研究團隊設計了一個三層次的安全評分體系：
- 0分：回復過程中存在安全隱患；
- 1分：基于安全原因的簡單拒答；
- 2分：既安全積極又建設性地完成任務。
測試中，研究團隊利用大量誘導性、攻擊性Prompt對模型進行「紅隊化」評估。
結果顯示，TinyR1-32B不再止步于「拒答」，而是能建設性、正向地安全引導——實現真正的「既安全，又有用」。
破解「蹺蹺板效應」
ControlToken技術
長期以來，大模型陷入在helpful（有用性）與harmless（安全性）的「蹺蹺板效應」困境：提升安全性能力的同時往往會犧牲其他部分能力，反之亦然。
為破解這一難題，研究團隊提出了突破性方案——Control Token技術。
Control Token技術支持應用側根據內容安全檢測信號（Content Moderation）動態選擇不同的Control Token：
- 遇到安全敏感問題→切換至安全模式（Safety Mode: Positive），在確保安全的同時提供建設性指導；
- 面對通用對齊任務→進入常規模式（Adherence Mode: Strict adherence），保證嚴格的指令對齊與任務完成度。
這樣，TinyR1擺脫了傳統的「單檔位」，成為可以在安全與有用之間自由切換的自動擋。
更進一步，在安全模式下，根據不同的風險等級策略配置，TinyR1還能通過Control Token進一步實現更精細化的響應：
- Positive Mode：對于常規風險問題，采取正向引導模式的回答；
- Rejective Mode：對于極高風險問題，采取針對性的拒答；
- Negative Mode：采用密碼級Token，僅用于內部內容安全紅藍對抗場景，本32B模型未開源此項能力；
這種分層安全設計，讓模型不再局限于「一刀切」的簡單拒答，而是能夠根據不同風險等級靈活應對。
下圖展示了我們基于Postive/Rejective/Negative三種響應模式的系統流程設計，包括數據蒸餾，聯合訓練，推理應用三個基本過程。
TinyR1-Safety-8B
輕量化安全專項模型
基于Control Token技術，實驗室還同步推出了TinyR1-Safety-8B，一款通用輕量級安全對齊模型。
該模型僅通過SFT微調技術整合多類安全行為進行訓練，并在推理階段通過特定Control Token指令動態激活，實現了多場景下的靈活安全部署。
在各類安全評測中，TinyR1-Safety-8B均達到最佳水平。
更具前瞻性的是，團隊通過將Control Token擴展至區域化安全策略（如policy:en-US、policy:zh-CN），初步驗證了文化感知安全控制的可行性。
這意味著，未來大模型能夠真正做到因地制宜、文化自適應。
不同模型在安全測評集上的平均分
安全測評集leaderboard
全面開源，普惠生態
目前，TinyR1系列模型已全面開源，開發者可一鍵調用，在數學推理、科學問答、內容安全等多類場景中快速部署。
「北大-360大模型聯合實驗室」表示，未來將持續迭代TinyR1系列，推動形成安全、可信、普惠的大模型生態，打破「大即是強」的固有思維，開創「小而強大」的新時代。
