Mistral開源首個多模態大模型—Pixtral 12B
法國著名開源大模型平臺Mistral AI開源了，首個能夠同時處理圖像和文本的多模態大模型——Pixtral 12B。
Mistral AI開源的方式依然非常簡單粗暴，直接上磁力鏈接，把所有模型權重都放出來了。
「AIGC開放社區」已經試驗了一下，大小在23.64G左右，這個在多模態模型中屬于比較小的了，估計能耗和部署方面會方便很多。
下載速度也是滿載狀態，說明這個模型還是相當受歡迎。如果你是千M光纖，估計幾分鐘就下完了。
不少網友對Mistral AI開源的新模型相當滿意，再一次拉動了大模型開源領域向多模態進軍。
Mistral剛剛發布了一個24G的重磅炸彈，迫不及待想看看這個多模態野獸能干點啥啦。
據悉，Pixtral有120億參數，是在Mistral的一個文本模型Nemo 12B基礎之上開發而成，與Anthropic的Claude系列和OpenAI的GPT-4o等其他多模態模型類似，能理解、回答任意大小圖像的問題。
架構方面，40層、14,336個隱藏維度大小和32個注意力頭，配備了400M的專用視覺編碼器，支持1024x1024圖像尺寸和 24個隱藏層的高級圖像處理。詞匯量大，其詞匯表中大約有 13萬個獨特的標記，可實現細致入微的語言理解和生成。
此外，根據數據評測顯示，Pixtral 12B在MMMU、Mathvista、ChartQA、DocVQA基準測試平臺的數據比Phi-3、 Qwen-2 7B等知名多模態模型更好。
模型權重下載地址：magnet:?xt=urn:btih:7278e625de2b1da598b23954c13933047126238a&dn=pixtral-12b-240910&tr=udp%3A%2F%http://2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%http://2Fopen.demonii.com%3A1337%2Fannounce&tr=http%3A%2F%http://2Ftracker.ipv6tracker.org%3A80%2Fannounce
huggingface地址：https://huggingface.co/mistral-community/pixtral-12b-240910
本文轉自 AIGC開放社區 ，作者：AIGC開放社區
