去年 12 月，谷歌推出了 PaliGemma 2 ，這是Gemma系列中的升級版視覺語言模型。該版本包含不同大小（3B、10B 和 28B 參數(shù)）的預(yù)訓(xùn)練檢查點，可輕松針對各種視覺語言任務(wù)和領(lǐng)域進行微調(diào)，例如圖像分割、短視頻字幕、科學(xué)問答和文本相關(guān)任務(wù)，并實現(xiàn)高性能。

2月19日，谷歌宣布推出 PaliGemma 2 mix 檢查點。PaliGemma 2 mix 是針對多種任務(wù)進行調(diào)整的模型，允許直接探索模型功能并將其開箱即用，用于常見用例。

PaliGemma 2 mix 有什么新功能？

• 一個模型可完成多項任務(wù)：PaliGemma 2 mix 可以解決短字幕和長字幕、光學(xué)字符識別 (OCR)、圖像問答、對象檢測和分割等任務(wù)。
• 適合開發(fā)人員的尺寸：借助不同的模型尺寸（3B、10B 和 28B 參數(shù)）和分辨率（224px 和 448px），使用最適合您需求的模型。
• 與您喜歡的框架一起使用：利用您喜歡的工具和框架，包括Hugging Face Transformers、Keras、PyTorch、JAX 和Gemma.cpp。

如果已經(jīng)在使用原始的 PaliGemma 混合檢查點，則可以直接升級到 PaliGemma 2，而無需進行任何更改。該模型根據(jù)提示方式執(zhí)行不同的任務(wù)。

效果展示

檢測

• 任務(wù)：檢測（PaliGemma-2-3b-mix-224）
• 輸入：“detect android\n”

結(jié)果

多物體檢測

• 任務(wù)：多目標檢測（PaliGemma-2-3b-mix-224）
• 輸入：“檢測椅子；桌子\n”

結(jié)果

• 餐廳內(nèi)物品的多物體檢測

結(jié)果：

光學(xué)字符識別 (OCR)

• 任務(wù)：多目標檢測（PaliGemma-2-3b-mix-224）
• 輸入-“ocr\n”

結(jié)果：

分割

• 任務(wù)：分割 (PaliGemma-2-3b-mix-224)
• 輸入-“segment cat\n”

結(jié)果

問答

• 任務(wù)：問答 (PaliGemma2-mix-3b-448)
• 輸入：“答案 en 牛站在哪里？\n”

結(jié)果

beach

字幕

• 輸入：“caption en\n”

結(jié)果

a cow standing on a beach next to a sign that says warning dangerous rip current.

光學(xué)字符識別 (OCR)

結(jié)果：

• WARNING
• DANGEROUS
• RIP CURRENT

立即開始

• 試用：https://huggingface.co/spaces/google/paligemma2-10b-mix
• 模型：https://www.kaggle.com/models/google/paligemma-2/
• 運行：https://ai.google.dev/gemma/docs/paligemma/inference-with-keras
• 部署：https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/paligemma