Llama系列上新多模態！3.2版本開源超閉源，還和Arm聯手搞了手機優化版

2024-09-26 17:54:10

就在剛剛結束的Meta開發者大會上，Llama 3.2閃亮登場：這回不僅具備了多模態能力，還和Arm等聯手，推出了專門為高通和聯發科硬件優化的“移動”版本。

在多模態領域，開源模型也超閉源了！

就在剛剛結束的Meta開發者大會上，Llama 3.2閃亮登場：

這回不僅具備了多模態能力，還和Arm等聯手，推出了專門為高通和聯發科硬件優化的“移動”版本。

具體來說，此次Meta一共發布了Llama 3.2的4個型號：

官方數據顯示，與同等規模的“中小型”大模型相比，Llama 3.2 11B和90B表現出了超越閉源模型的性能。

尤其是在圖像理解任務方面，Llama 3.2 11B超過了Claude 3 Haiku，而90B版本更是能跟GPT-4o-mini掰掰手腕了。

而專為端側打造的3B版本，在性能測試中表現也優于谷歌的Gemma 2 2.6B和微軟的Phi 3.5-mini。

如此表現，著實吸引了不少網友的關注。

有人興奮地認為，Llama 3.2的推出可能再次“改變游戲規則”：

端側AI正在變得越來越重要。

Meta AI官方對此回復道：

其中一些模型參數量很小，但這個時刻意義重大。

首個視覺??

有關Llama 3.2具體能做什么，這次官方也釋出了不少demo。

先看個匯總：Llama 3.2 11B和90B支持一系列多模態視覺任務，包括為圖像添加字幕、根據自然語言指令完成數據可視化等等。

舉個??，丟給Llama 3.2一張圖片，它能把圖片中的元素一一拆解，告訴你詳細的圖片信息：

同樣，也可以反過來根據文字指令找出符合用戶需求的圖片。

Llama 3.2 11B和90B也是首批支持多模態任務的Llama系列模型，為此，Meta的研究人員打造了一個新的模型架構。

在Llama 3.1的基礎之上，研究人員在不更新語言模型參數的情況下訓練了一組適配器權重，將預訓練的圖像編碼器集成到了預訓練的語言模型中。

這樣，Llama 3.2既能保持純文本功能的完整性，也能get視覺能力。

訓練過程中，Llama 3.2采用圖像-文本對數據進行訓練。訓練分為多個階段，包括在大規模有噪聲數據上的預訓練，和更進一步在中等規模高質量領域內和知識增強數據上的訓練。

在后訓練（post-training）中，研究人員通過監督微調（SFT）、拒絕采樣（RS）和直接偏好優化（DPO）進行了幾輪對齊。

至于1B和3B這兩個輕量級模型，目的更加清晰：

隨著蘋果Apple Intelligence的推出，對于電子消費市場而言，手機等終端上的生成式AI已經成為標配。

而脫離云端獨立運行在終端上的模型，無論是從功能還是從安全的角度，都是終端AIGC落地的關鍵。

Llama 3.2 1B和3B模型由Llama 3.1的8B和70B模型剪枝、蒸餾得到。

可以簡單理解為，這倆“小”模型是Llama 3.1教出來的“學生”。

Llama 3.2 1B和3B僅支持文本任務，上下文長度為128K。來自Meta合作方Arm的客戶業務線總經理Chris Bergey認為：

明年初甚至今年年底，開發人員就會在應用程序中落地這兩個型號的Llama 3.2。
它們擁有更好的效率，能在1W功率下或在8毫秒以內提供答案。

不少網友也為此點贊：

Llama 3.2的輕量級模型能真正改變AI在手機和其他設備上的應用。

還有網友已經第一時間實踐上了：

我驚嘆于這個1B模型的能力。

這位網友用Llama 3.2 1B運行了一個完整的代碼庫，并要求它總結代碼，結果是醬嬸的：

“不完美，但遠超預期。”

前有OpenAI「Her」全量開放、谷歌Gemini 1.5迎來重大升級，Llama這邊也緊鑼密鼓跟上新動作，AI圈的這一周，依舊是開源閉源激情碰撞，充滿話題度的一周。

那么，你怎么看Llama這波新發布？

對了，如果你對Llama 3.2感興趣，大模型競技場已經可以試玩了。

Ollama、Groq等也已第一時間更新支持。

責任編輯：姜華來源：量子位