百度一口氣開源了10款模型
5個多月前,百度承諾將在6月30日開源文心大模型。
圖片
他們一口氣開源了文心4.5系列共10款模型。

既有文本模型,也有VL視覺理解模型(支持thinking),最小參數0.3B,最大參數424B(激活參數47B)。

本次開源的全部模型(包括預訓練權重和推理代碼)和項目,都可以在Hugging Face、GitHub和飛槳社區下載。
Hugging Face:https://huggingface.co/baidu
GitHub:https://github.com/PaddlePaddle/ERNIE
飛槳社區:https://aistudio.baidu.com/overview
技術報告:https://yiyan.baidu.com/blog/posts/ernie4.5
針對MoE架構,百度提出了一種新的多模態異構模型結構,通過跨模態參數共享機制實現模態間知識融合,同時為各單一模態保留專用參數空間。此架構非常適用于從大語言模型向多模態模型的預訓練,在保持甚至提升文本任務性能的基礎上,顯著增強多模態理解能力。

文心4.5系列模型,全部使用飛槳深度學習框架進行訓練、推理和部署。在預訓練過程中,模型FLOPs利用率(MFU)達到47%。
在多個文本和多模態基準測試中,文心4.5系列模型達到SOTA水平,在指令遵循、世界知識記憶、視覺理解和多模態推理任務上效果尤為突出。

ERNIE-4.5-300B-A47B表現不輸Qwen3、DeepSeek-V3-0324

ERNIE-4.5-VL-424B-A47B表現不輸Qwen2.5-VL-72B
模型權重,按Apache 2.0協議(與MiniMax一致)開源,而非MIT協議(如DeepSeek、智譜、Qwen等)。

具體部署方法,請參考技術Blog:???https://yiyan.baidu.com/blog/posts/ernie4.5???
本文轉載自??????沃垠AI??????,作者:冷逸

















