近日，微軟的Azure AI團隊在Hugging Face上發布了一個名為Florence-2的新視覺基礎模型。

該模型以寬松的MIT許可證可用，可以處理各種視覺和視覺語言任務，使用統一的基于提示的表示形式。它有兩個尺寸——232M和771M個參數，并且在字幕生成、目標檢測、視覺定位和分割等任務上已經表現出色，與許多大型視覺模型相媲美甚至更好。

盡管該模型的實際性能尚待測試，但這項工作預計將為企業提供一種處理不同類型視覺應用的統一方法。這將節省投資于無法超越其主要功能的單獨任務特定視覺模型，并避免了大量的精細調整過程。

Florence-2的獨特之處在于什么？

目前，大語言模型（LLM）是企業運營的核心。一個模型可以提供摘要、撰寫營銷文案，甚至在許多情況下處理客戶服務。在不同領域和任務之間的適應能力令人驚嘆。但是，這一成功也讓研究人員思考：在很大程度上針對特定任務的視覺模型是否能夠做到同樣的事情？

圖：Florence-2由圖像編碼器和標準的多模態編碼器-解碼器組成。研究人員在FLD-5B數據上以統一的多任務學習范式對Florence-2進行訓練，得到了一個通用的視覺基礎模型，可以執行各種視覺任務。

從本質上講，與基于文本的自然語言處理（NLP）相比，視覺任務更加復雜。它們需要全面的感知能力?；旧?，為了實現對多樣化視覺任務的通用表示，模型必須能夠理解不同尺度上的空間數據，從廣泛的圖像級概念（如對象位置）到細粒度的像素細節，以及高級標題到詳細描述等語義細節。

當微軟嘗試解決這個問題時，發現了兩個關鍵障礙：全面注釋的視覺數據集的稀缺性，以及缺乏一個統一的預訓練框架，具有集成理解空間層次結構和語義細粒度能力的單一網絡架構。

為了解決這個問題，研究人員首先使用專門的模型生成了一個名為FLD-5B的視覺數據集。該數據集包括了1.26億張圖像的54億個注釋，涵蓋了從高級描述到特定區域和對象的詳細信息。然后，使用這些數據，訓練了Florence-2。它使用了序列到序列的架構（一種設計用于處理順序數據的神經網絡類型），集成了圖像編碼器和多模態編碼器-解碼器。這使得模型能夠處理各種視覺任務，而無需進行任務特定的架構修改。

研究人員在詳細說明該模型的論文中寫道：“數據集FLD-5B中的所有注釋都統一標準化為文本輸出，便于使用統一的多任務學習方法，并與相同的損失函數進行一致的優化，作為目標。結果是一個多功能的視覺基礎模型，能夠執行各種任務...并且在一個由統一參數集管理的單一模型內完成。任務的激活通過文本提示實現，反映了大型語言模型使用的方法。”

性能優于更大的模型

在以圖像和文本輸入為提示時，Florence-2可以處理各種任務，包括目標檢測、字幕生成、視覺定位和視覺問答。更重要的是，它以與許多更大的模型相媲美甚至更好的質量進行處理。

例如，在COCO數據集上進行零樣本字幕生成測試時，Florence-2的232M和771M版本的得分分別為133和135.6，優于Deepmind的擁有800億參數的Flamingo視覺語言模型。它們甚至比微軟自己專門用于視覺定位的Kosmos-2模型表現更好。

當使用公共人工注釋數據進行精調時，盡管尺寸較小，Florence-2能夠在視覺問答等任務上與幾個更大的專用模型競爭。

研究人員指出：“預訓練的Florence-2骨干模型提高了下游任務的性能，如COCO目標檢測和實例分割，以及ADE20K語義分割，超過了監督和自監督模型。與在ImageNet上進行預訓練的模型相比，我們的模型訓練效率提高了4倍，并在COCO和ADE20K數據集上分別取得了6.9、5.5和5.9個點的顯著改進。”

目前，Florence-2的預訓練和精調版本，包括232M和771M的模型，在Hugging Face上以寬松的MIT許可證下提供，允許無限制地進行商業使用或私人使用的分發和修改。

有趣的是看到開發人員如何使用它，并減少為不同任務使用單獨的視覺模型的需求。小而任務無關的模型不僅可以節省開發人員使用不同模型的需要，還可以大幅減少計算成本。

譯自（有刪改）：https://venturebeat.com/ai/microsoft-drops-florence-2-a-unified-model-to-handle-a-variety-of-vision-tasks/

本文轉載自公眾號AIGC最前線   

原文鏈接：??https://mp.weixin.qq.com/s/b4pNiasFGyvqz813wYzCcw??