阿里通義團隊開源 R1-Omni：多模態(tài)模型 + RLVR，讓各模態(tài)作用清晰可見
作者：汪淼
通義實驗室團隊探索了 RLVR 與視頻全模態(tài)模型的結合，宣布開源 R1-Omni 模型。R1-Omni 的一大亮點在于其透明性（推理能力）。通過 RLVR 方法，音頻信息和視頻信息在模型中的作用變得更加清晰可見。
3 月 11 日消息，隨著 DeepSeek R1 的推出，強化學習在大模型領域的潛力被進一步挖掘。Reinforcement Learning with Verifiable Reward（RLVR）方法的出現，為多模態(tài)任務提供了全新的優(yōu)化思路，無論是幾何推理、視覺計數，還是經典圖像分類和物體檢測任務，RLVR 都展現出了顯著優(yōu)于傳統(tǒng)監(jiān)督微調（SFT）的效果。
然而，現有研究多聚焦于 Image-Text 多模態(tài)任務，尚未涉足更復雜的全模態(tài)場景。基于此，通義實驗室團隊探索了 RLVR 與視頻全模態(tài)模型的結合，于今日宣布開源 R1-Omni 模型。
R1-Omni 的一大亮點在于其透明性（推理能力）。通過 RLVR 方法，音頻信息和視頻信息在模型中的作用變得更加清晰可見。
比如，在情緒識別任務中，R1-Omni 能夠明確展示哪些模態(tài)信息對特定情緒的判斷起到了關鍵作用。
為了驗證 R1-Omni 的性能，通義實驗室團隊將其與原始的 HumanOmni-0.5B 模型、冷啟動階段的模型以及在 MAFW 和 DFEW 數據集上有監(jiān)督微調的模型進行了對比。
實驗結果顯示，在同分布測試集（DFEW 和 MAFW）上，R1-Omni 相較于原始基線模型平均提升超過 35%，相較于 SFT 模型在 UAR 上的提升高達 10% 以上。在不同分布測試集（RAVDESS）上，R1-Omni 同樣展現了卓越的泛化能力，WAR 和 UAR 均提升超過 13%。這些結果充分證明了 RLVR 在提升推理能力和泛化性能上的顯著優(yōu)勢。
IT之家附 R1-Omni 開源地址：
責任編輯：龐桂玉
來源：
IT之家
