哈嘍各位 AI 圈的老鐵們，最近有個(gè)消息簡(jiǎn)直炸裂！我們的“牙膏廠”蘋果，竟然也悄悄地在端側(cè) AI 領(lǐng)域扔下了一顆重磅炸彈——FastVLM！

這可不是什么云里霧里的概念，而是個(gè)實(shí)打?qū)崱⒛苤苯釉谖覀兪掷锏?iPhone、iPad、Mac 上跑起來(lái)的視覺(jué)語(yǔ)言模型（VLM）。而且，它的名字里帶著個(gè)大寫的“Fast”，那速度，真的是快到讓你驚掉下巴！

FastVLM 是啥？簡(jiǎn)單來(lái)說(shuō)，它讓你的設(shè)備有了“眼睛”和“嘴巴”

想象一下，你拍了張照片，或者屏幕上有一張圖，你想問(wèn)它點(diǎn)啥，或者讓它描述一下。傳統(tǒng)的路子，可能得把圖傳到云端服務(wù)器，那里有強(qiáng)大但遙遠(yuǎn)的 AI 模型處理，再把結(jié)果傳回來(lái)。這中間嘛，有延遲、有隱私問(wèn)題，還可能得聯(lián)網(wǎng)。

蘋果 FastVLM 就不一樣了。它的核心工作流程非常直接且高效：

1. 先看懂圖（圖像 → token）： 它用一套特別厲害的技術(shù)（后面會(huì)講）飛快地把圖像“消化”一遍，然后轉(zhuǎn)化成一堆它能理解的、高度濃縮的信息塊，我們叫它“視覺(jué) token”。你可以理解成是給圖片做的“速記筆記”。
2. 再生成話（token → 語(yǔ)言）： 拿到這些“筆記”后，它再交給設(shè)備上的語(yǔ)言模型，語(yǔ)言模型根據(jù)這些筆記和你的問(wèn)題，嗖嗖嗖地生成回答或描述。

整個(gè)過(guò)程，全程在你的設(shè)備本地完成！不上傳云端，又快又安全。

為啥叫“FastVLM”？因?yàn)樗氖?token 輸出快到離譜！

這絕對(duì)是 FastVLM 最亮眼的招牌！蘋果在性能對(duì)比中放出的數(shù)據(jù)，簡(jiǎn)直讓人難以置信：

• 對(duì)比同等規(guī)模的LLaVA-OneVision-0.5B模型，F(xiàn)astVLM-0.5B 的首個(gè) token 輸出速度竟然快了整整 85 倍！ 85 倍啊！這是什么概念？就是你問(wèn)它問(wèn)題，它幾乎能瞬間給出第一個(gè)字的反應(yīng)，后續(xù)文字也源源不斷跟上。這對(duì)于實(shí)時(shí)交互體驗(yàn)來(lái)說(shuō)，簡(jiǎn)直是革命性的。
• 即使是更大的 FastVLM-7B 模型（基于強(qiáng)大的 Qwen2-7B 語(yǔ)言模型），對(duì)比同類模型 Cambrian-1-8B，首 token 速度也快了 7.9 倍。

為什么能這么快？秘密藏在它全新的視覺(jué)編碼器 FastViTHD 里。傳統(tǒng)的模型處理圖像，尤其是高分辨率圖像時(shí)，生成的視覺(jué) token 數(shù)量巨大，給后續(xù)的語(yǔ)言模型造成很大負(fù)擔(dān)。FastViTHD 就聰明多了，它能在保證不丟失關(guān)鍵信息的前提下，生成數(shù)量更少但信息更豐富的視覺(jué) token（比如從1536個(gè)壓縮到576個(gè)），大大減輕了語(yǔ)言模型的計(jì)算壓力。而且，這個(gè)編碼器本身也非常高效，體積比之前的小了 3.4 倍！

更厲害的是，它是針對(duì)蘋果自己的 A18、M2 等芯片做了深度優(yōu)化，支持 FP16 和 INT8 量化，能最大限度地利用蘋果硬件的算力，同時(shí)還省電（據(jù)說(shuō)連續(xù)運(yùn)行功耗相當(dāng)于看視頻的水平）。

小巧玲瓏，輕松跑在你的 iPhone 上

除了快，F(xiàn)astVLM 的另一個(gè)核心優(yōu)勢(shì)就是小！它被設(shè)計(jì)得非常緊湊，配合蘋果的 MLX 框架和 CoreML 工具鏈，可以非常輕松地部署在 iPhone、iPad、Mac 上。

這意味著，未來(lái)的 iPhone 不僅性能強(qiáng)勁，還能直接在本地完成復(fù)雜的視覺(jué)理解和語(yǔ)言交互任務(wù)。無(wú)論是實(shí)時(shí) AR 應(yīng)用中的環(huán)境理解，還是輔助功能里的圖像描述，亦或是更智能的照片搜索和編輯，都能獲得前所未有的流暢體驗(yàn)。想象一下在 iPad Pro M2 上實(shí)現(xiàn) 60FPS 的連續(xù)對(duì)話體驗(yàn)，是不是已經(jīng)心動(dòng)了？

而且，本地運(yùn)行帶來(lái)的隱私保護(hù)也是云端方案無(wú)法比擬的。你的照片和數(shù)據(jù)，就安全地待在你的設(shè)備里。

不止是“看圖說(shuō)話”，它還能干啥？

別以為 FastVLM 只能簡(jiǎn)單地描述圖片。它是一個(gè)真正的視覺(jué)語(yǔ)言模型，能力覆蓋很廣：

• 實(shí)時(shí)問(wèn)答： 針對(duì)圖片內(nèi)容回答各種問(wèn)題。
• 文檔解析： 閱讀圖片中的復(fù)雜文檔或表格（在 DocVQA 任務(wù)上性能提升顯著）。
• 文字識(shí)別與理解： 識(shí)別圖片中的文字，并理解其含義（TextVQA 任務(wù)表現(xiàn)出色）。
• 更高級(jí)的推理： 在多模態(tài)理解任務(wù)（如 MMMU、SeedBench）上也能保持出色性能。

更具體的應(yīng)用場(chǎng)景，就像源信息里提到的：醫(yī)療影像輔助分析（肺結(jié)節(jié)檢測(cè)準(zhǔn)確率達(dá) 93.7%），工業(yè)質(zhì)檢（智能手機(jī)生產(chǎn)線缺陷檢測(cè)誤報(bào)率大幅降低），甚至未來(lái)集成到 Xcode 幫助寫代碼，或者讓 Messages 應(yīng)用里的表情包更智能，都充滿了想象空間！

開(kāi)源！蘋果正在構(gòu)建自己的 AI 生態(tài)

值得一提的是，蘋果這次非常開(kāi)放，F(xiàn)astVLM 的代碼和模型已經(jīng)在 GitHub 和 Hugging Face 上開(kāi)源了！這基于 LLaVA 代碼庫(kù)訓(xùn)練，并提供了詳細(xì)的指南。

這意味著開(kāi)發(fā)者可以基于 FastVLM 在蘋果設(shè)備上構(gòu)建各種各樣的 AI 應(yīng)用，充分利用蘋果強(qiáng)大的硬件能力和蘋果提供的開(kāi)發(fā)工具。這無(wú)疑會(huì)極大地推動(dòng)蘋果生態(tài)內(nèi) AI 應(yīng)用的創(chuàng)新和普及。

總結(jié)：移動(dòng)端 AI 的新里程碑

FastVLM 的發(fā)布，不只是蘋果秀肌肉那么簡(jiǎn)單，它真正地重新定義了移動(dòng)設(shè)備上多模態(tài) AI 的可能性邊界。

通過(guò)極速的視覺(jué)編碼（FastViTHD）、對(duì)蘋果硬件的深度協(xié)同優(yōu)化、小巧的模型體積以及開(kāi)放的開(kāi)源策略，蘋果不僅解決了端側(cè)部署的“慢”和“大”的痛點(diǎn)，還為用戶提供了更流暢、更私密、更強(qiáng)大的 AI 體驗(yàn)。

它證明了在消費(fèi)級(jí)設(shè)備上實(shí)現(xiàn)高性能的實(shí)時(shí)視覺(jué)語(yǔ)言交互是可行的，并且已經(jīng)成為現(xiàn)實(shí)。FastVLM 有望成為未來(lái)蘋果設(shè)備上諸多智能化功能的基石，讓我們的 iPhone、iPad 不再只是工具，而是更加智能、更能理解我們世界的伙伴。

對(duì)于我們 AI 圈的開(kāi)發(fā)者來(lái)說(shuō)，這無(wú)疑是一個(gè)令人興奮的消息。蘋果已經(jīng)搭好了舞臺(tái)，提供了利器，接下來(lái)就看大家能用 FastVLM 創(chuàng)造出什么精彩的應(yīng)用了！

本文轉(zhuǎn)載自???墨風(fēng)如雪小站???，作者：墨風(fēng)如雪