譯者 | 涂承燁

審校 | 重樓

不到十年前，能與計算機進行有意義的對話的想法還只是科幻小說。但今天，數以百萬計的人與AI助手聊天，根據文本描述創作令人驚嘆的藝術作品，并每天使用這些AI工具/系統來理解圖像和執行高級任務。這一進步由許多專業AI模型驅動，每個模型都有其獨特的功能和應用。本文將介紹八種正在重塑數字格局并可能塑造我們未來的專業AI模型。

1.LLMs：大型語言模型(Large Language Models)

還記得科幻電影里人類過去常常與計算機正常交談的情景嗎？大型語言模型創造了一種虛構已成為現實的氛圍。這些模型理解并生成人類語言，構成了現代AI助手的支柱。

LLMs的架構：

LLMs本質上建立在變換器（Transformer）之上，變換器由堆疊的編碼器和/或解碼器塊組成。典型的實現包括使用以下組件：

• 多頭注意力層(Multi-Head Attention Layers)：不同的注意力層允許模型同時關注輸入的各個部分，每層計算 Q、K、V 矩陣。
• 前饋神經網絡(Feed-Forward Neural Networks)：當這些網絡接收注意力輸出時，它們實現兩個線性變換，中間有一個非線性激活函數，通常是 ReLU 或 GELU。
• 殘差連接與層歸一化(Residual Connections and Layer Normalization)：通過允許梯度在深度網絡中流動并通過歸一化網絡激活來使訓練穩定。
• 位置編碼(Positional Encoding)：當變換器并行處理詞元（token）時，它使用正弦或學習得到的位置嵌入來注入位置信息。
• 多階段訓練(Multi-Phase Training)：在精選數據集上進行微調之前的預訓練，隨后進行對齊（alignment），其中人類反饋強化學習(RLHF)是方法之一。

LLMs的關鍵特性：

• 自然語言理解與生成
• 在較長詞元跨度上的上下文感知
• 從海量訓練數據中學習知識表示
• 零樣本學習（無需任何特定訓練即可執行任務的能力）
• 上下文學習（in-context learning），即通過示例適應新格式的能力
• 遵循指令進行復雜的多步推理
• 用于解決問題的思維鏈（Chain-of-thought）推理能力

LLMs的示例：

• GPT-4(OpenAI)：最具先進性的語言模型之一，具有多模態能力，驅動著 ChatGPT 和數千個應用程序。
• Claude(Anthropic)：以產生深思熟慮、細致入微的輸出和良好推理而聞名。
• Llama 2 & 3(Meta)：強大的開源模型，將AI帶給大眾。
• Gemini(Google)：谷歌的最先進模型，具有極強的推理和多模態能力。

LLMs的用例：

想象你是一個遭遇寫作瓶頸的內容創作者。LLMs可以生成想法、創建文章大綱或為你起草內容供你潤色。設想你是一個遇到編碼問題的開發者；這些模型可以調試你的代碼、提出解決方案，甚至用淺顯的英語解釋復雜的編程概念或術語。

2.LCMs：大型概念模型(Large Concept Models)

LLMs 專注于語言，而 LCMs 則側重于理解思想之間更深層次的概念關系。你可以把它們看作是掌握概念而不僅僅是單詞的模型。

LCMs的架構：

LCMs 在變換器架構基礎上構建，增加了用于概念理解的專業組件，通常包括：

• 增強的交叉注意力機制(Enhanced Cross-Attention Mechanisms)： 將文本詞元連接到概念表示，并將單詞連接到潛在概念。
• 知識圖譜集成(Knowledge Graph Integration)：直接在架構中或通過預訓練目標間接集成結構化知識。
• 分層編碼層(Hierarchical Encoding Layers)：這些層級在不同抽象層次上捕獲概念，從具體實例到抽象類別。
• 多跳推理模塊(Multi-Hop Reasoning Modules)：允許多步跟蹤概念關系鏈。

預訓練通常針對概念預測、概念消歧、層次關系建模以及從抽象到具體的映射。此外，許多實現采用專門的注意力機制，該機制為與概念相關的詞元分配與一般上下文相關的詞元不同的權重。

LCMs的關鍵特性：

• 將抽象思想概念化，超越語言的表層
• 在邏輯和因果推理方面表現出色
• 改進的常識推理和推斷能力
• 連接不同領域的相關概念
• 對層次結構的語義概念化
• 概念消歧和實體鏈接
• 類比與學習遷移
• 從多樣信息源組合知識

LCMs的頂級示例：

• Gato(Deepmind)：一個通用智能體，使用一個簡單模型執行數百項任務。
• 悟道 2.0(Wu Dao 2.0, 北京智源人工智能研究院)：一個用于概念理解的超大規模多模態 AI 系統。
• Minerva(Google)：專長于數學和科學推理。
• Flamingo(DeepMind)：通過概念框架橋接視覺和語言理解。

LCMs的用例：

對于試圖將來自不同科學論文的見解整合起來的研究員，LCM 將揭示那些原本隱藏的概念聯系。教育工作者可以與 LCMs 合作設計教學材料，以增強概念學習，而不是直接記憶。

3.LAMs：大型動作模型(Large Action Models)

大型動作模型是 AI 進化的下一階段，這些模型不僅能理解或生成內容，還能在數字環境中采取有意義的有向動作。它們在理解與行動之間架起橋梁。

LAMs的架構：

LAMs 通過多組件設計將語言理解與動作執行結合起來：

• 語言理解核心(Language Understanding Core)：基于變換器的LLM 用于處理指令并生成推理步驟。
• 規劃模塊(Planning Module)：分層規劃系統，將高級目標分解為可操作的步驟，通常使用蒙特卡洛樹搜索（Monte Carlo Tree Search）或分層強化學習（hierarchical reinforcement learning）等技術。
• 工具使用接口(Tool Use Interface)：用于外部工具交互的 API 層，包括發現機制、參數綁定、執行監控和結果解析。
• 記憶系統(Memory Systems)：同時使用短期工作記憶和長期情景記憶來維持跨動作的上下文。

計算流程經歷指令生成與解釋、規劃、工具選擇、執行、觀察和計劃調整的循環。訓練通常結合使用監督學習、強化學習和模仿學習的方法。另一個關鍵特征是存在一個“反思機制（reflection mechanism）”，模型在其中判斷其動作的效果并相應地調整所應用的策略。

LAMs的關鍵特性：

• 根據以自然語言形式傳遞的指令采取行動
• 多步驟規劃以實現需要如此的目標
• 無需人工干預即可使用工具和進行 API 交互
• 通過演示學習而非編程
• 從環境中接收反饋并自我適應
• 單智能體決策，安全第一
• 狀態跟蹤和跨越順序交互
• 自我糾正和錯誤恢復

LAMs的頂級示例：

• AutoGPT：一個用于任務執行的實驗性自主 GPT-4。
• 帶工具的 Claude Opus：通過函數調用實現復雜任務的高級自主性。
• LangChain Agents：用于創建面向動作的 AI 系統的框架。
• BabyAGI：自主任務管理和執行的演示。

LAMs的用例：

想象要求一個 AI “研究本地承包商，匯編他們的評分，并為我們的廚房改造項目安排與前三名的面試”。LAMs 可以執行這種需要理解與行動相結合的多步驟復雜任務。

4.MoEs：專家混合模型(Mixture of Experts)

考慮一組專家而不是一個單一的通才，這就是MoE設計所暗示的。這些模型由多個專家神經網絡組成，每個網絡都經過訓練以處理特定的任務或知識領域。

MoE的架構：

MoE 實現條件計算（Conditional Computation），使得不同的輸入激活不同的專門子網絡：

• 門控網絡(Gating Network)：將輸入發送到適當的專家子網絡，決定模型內的哪些“記憶”應處理每個詞元或序列。
• 專家網絡(Expert Networks)：多路、專門的神經子網絡（專家），通常是嵌入變換器塊中的前饋網絡。
• 稀疏激活(Sparse Activation)：每個輸入只激活一小部分參數。這是通過 top-k 路由（top-k routing）實現的，其中只允許得分最高的前k個專家處理每個詞元。

現代實現用變換器中的 MoE 層替代標準的 FFN（前饋網絡）層，保持注意力機制為密集的。訓練涉及負載平衡（Load Balancing）、損失和專家丟棄（Expert Dropout）等技術，以避免病態路由模式。

MoE的關鍵特性：

• 高效擴展到巨大參數數量，而無需按比例增加計算量
• 實時將輸入路由到專門網絡
• 由于條件計算，參數效率更高
• 在專門的領域-任務上表現更好
• 對于新穎輸入具有優雅降級（Graceful degradation）能力
• 更擅長多領域知識
• 訓練時減少災難性遺忘（Catastrophic Forgetting）
• 領域平衡的計算資源

MoE的頂級示例：

• Mixtral AI：一個采用稀疏專家混合架構的開源模型。
• Switch Transformer(Google)：最早的 MoE 架構之一。
• GLaM(Google)：谷歌在 MoE 架構上構建的擁有1.2萬億參數的語言模型。
• Gemini Ultra(Google)：采用基于 MoE 的方法來提升性能。

MoE的用例：

考慮一個需要 AI 系統能夠處理和管理從客戶服務到技術文檔再到創意營銷等一切事務的企業。MoE 模型最擅長這種靈活性，因為它們使得不同的“專家”能夠根據所執行的工作被激活。

5.VLMs：視覺語言模型(Vision Language Models)

用最簡單的話說，VLMs 是視覺與語言之間的橋梁。VLM 具有理解圖像并使用自然語言傳達相關信息的能力，本質上賦予 AI 系統“看見”并“討論”所見內容的能力。

VLMs的架構：

VLMs 通常為視覺和語言流實現雙流架構：

• 視覺編碼器(Visual Encoder)：通常是視覺變換器（Vision Transformer, ViT）或卷積神經網絡（CNN），將圖像分割成小塊（Patches）并進行嵌入（Embedding）。
• 語言編碼器-解碼器(Language Encoder-Decoder)：通常是基于變換器的語言模型，接收文本輸入并輸出文本。
• 跨模態融合機制(Cross-Modal Fusion Mechanism)：此機制通過以下方式連接視覺和語言流：

A.早期融合(Early Fusion)：將視覺特征投影到語言嵌入空間。

B.晚期融合(Late Fusion)：分別處理，然后在更深層通過注意力連接。

C.交錯融合(Interleaved Fusion)：在整個網絡中設置多個交互點。

D.聯合嵌入空間(Joint Embedding Space)：一個統一的表示空間，視覺概念和文本概念被映射到可比較的向量。

預訓練通常采用多目標訓練機制，包括圖像-文本對比學習、帶視覺上下文的掩碼語言建模、視覺問答和圖像描述生成。這種方法培養了能夠在多種模態之間進行靈活推理的模型。

VLMs的關鍵特性：

• 解析和整合視覺與文本信息
• 圖像理解和細粒度描述能力
• 視覺問答和推理
• 場景解讀，包括物體和關系識別
• 關聯視覺和文本概念的跨模態推理
• 基于視覺輸入的文本生成
• 關于圖像內容的空間推理
• 理解視覺隱喻和文化參照

VLMs的頂級示例：

• GPT-4(OpenAI)：支持視覺功能的 GPT-4 版本，可以分析和討論圖像。
• Claude 3 Sonnet/Haiku(Anthropic)：具有強大視覺推理能力的模型。
• Gemini Pro Vision(Google)：在文本和圖像方面具有先進的多模態能力。
• DALLE-3 & Midjourney：雖然主要以圖像生成聞名，但也包含了視覺理解組件。

VLMs的用例：

想象一位皮膚科醫生上傳一張皮膚狀況的圖像，AI 立即提供帶有推理的潛在診斷。或者一位游客將手機對準一個地標，即時獲取其歷史意義和建筑細節。

6.SLMs：小型語言模型(Small Language Models)

人們將注意力給予越來越大的模型，但我們通常忘記了小型語言模型(SLMs) 涵蓋了一個同樣重要的趨勢：設計用于在無法訪問云端的個人設備上高效工作的 AI 系統。

SLMs的架構：

SLMs 開發了針對計算效率優化的專門技術：

• 高效注意力機制(Efficient Attention Mechanisms)：替代標準自注意力的系統（標準自注意力復雜度為平方級 O(n2)），包括：

A.線性注意力(Linear attention)：通過核近似將復雜度降低到 O(n)。

B.局部注意力(Local attention)：僅在局部窗口內進行注意力計算，而不是在整個序列上。

• 狀態空間模型(State Space Models)：另一種具有線性復雜度的序列建模方法。
• 參數高效變換器(Parameter Efficient Transformers)：減少參數數量的技術包括：

A.低秩分解(Low-Rank Factorization)：將權重矩陣分解為較小矩陣的乘積。

B.參數共享(Parameter Sharing)：跨層重用權重。

C.深度可分離卷積(Depth-wise Separable Convolutions)：用更高效的層替換密集層（dense layers）。

• 量化技術(Quantization Techniques)：降低權重和激活值的數值精度，通過訓練后量化、量化感知訓練或混合精度方法實現。
• 知識蒸餾(Knowledge Distillation)：通過基于響應的、基于特征的或基于關系的蒸餾模型，轉移封裝在大型模型中的知識。

所有這些創新使得一個 1-100 億參數的模型能夠在消費級設備上運行，其性能接近更大的云端托管模型。

SLMs的關鍵特性：

• 執行完全在應用程序內進行，無需云端依賴或連接
• 增強數據隱私，因為數據永遠不會從設備卸載
• 由于沒有網絡往返，能夠提供非常快速的響應
• 節能且對電池友好
• 完全離線操作，無需檢查遠程服務器，對于高度安全或遠程環境特別有用
• 更便宜，無 API 使用費
• 可針對特定設備或應用進行升級
• 針對特定領域或任務進行針對性優化

SLMs的頂級示例：

• Phi-3 Mini(Microsoft)：一個 38 億參數的模型，在其規模上表現非常出色。
• Gemma(Google)：一個旨在進行設備端部署的輕量級開源模型系列。
• Llama 3 8B(Meta)：Meta 的 Llama 家族中更小的變體，旨在高效部署。
• MobileBERT(Google)：專為移動設備定制，同時仍保持類似 BERT 的性能。

SLMs的用例：

SLMs 可以真正幫助那些幾乎沒有任何連接但需要可靠 AI 支持的人。注重隱私的客戶可以選擇將不必要的私人數據保留在本地。打算在資源可能受限的環境中為應用程序提供強大 AI 功能的開發者可以隨時利用它。

7、MLMs：掩碼語言模型(Masked Language Models)

掩碼語言模型采用一種不同尋常的語言理解方式：它們通過完成填空練習來學習，在訓練過程中隨機“掩碼”掉一些詞，使得模型必須從周圍的上下文中找出那個缺失的詞元。

MLMs的架構：

MLM 通過雙向架構以實現整體上下文理解：

• 僅編碼器變換器(Encoder-only Transformer)：與嚴格從左到右處理文本的基于解碼器（decoder-based）的模型不同，MLMs 通過編碼器塊（encoder blocks）雙向關注整個上下文。
• 掩碼自注意力機制(Masked Self-Attention Mechanism)：每個詞元都可以通過縮放點積注意力（scaled dot-product attention）關注序列中的所有其他詞元，無需應用任何因果掩碼（causal mask）。
• 詞元嵌入、位置嵌入和段落嵌入(Token, Position, and Segment Embeddings)：這些嵌入組合形成包含內容和結構信息的輸入表示。

預訓練目標通常包括：

• 掩碼語言建模(Masked Language Modelling)：隨機詞元被替換為[MASK]詞元，然后模型根據雙向上下文預測原始詞元。
• 下一句預測(Next Sentence Prediction)：判斷兩個段落是否在原始文本中相互跟隨，不過像 RoBERTa 這樣的更新變體移除了此目標。

這種架構產生的是詞元的上下文相關表示，而不是下一個詞元預測。基于此，MLMs 更傾向于用于理解任務而非生成任務。

MLMs的關鍵特性：

• 雙向建模利用更廣泛的上下文增強理解
• 更擅長語義分析和分類
• 強大的實體識別和關系抽取能力
• 使用更少樣本進行表示學習
• 在結構化抽取任務上達到最先進水平
• 向下游任務的可遷移性強
• 處理一詞多義的上下文詞表示
• 易于針對專業領域進行微調

MLMs的頂級示例：

• BERT(Google)：第一個帶來 NLP 范式轉變的雙向編碼器模型
• RoBERTa(Meta)：采用更好訓練方法進行魯棒優化的 BERT
• DeBERTa(Microsoft)：具有解耦注意力的增強版 BERT
• ALBERT(Google)：采用參數高效技術的輕量級 BERT 平臺

MLMs的用例：

想象一位律師必須從數千份合同中提取某些條款。MLMs 非常擅長此類有針對性的信息提取，有足夠的上下文來識別相關部分，即使它們的描述方式截然不同。

8.SAMs：分割任意模型(Segment Anything Models)

分割任意模型(SAM) 是計算機視覺領域的一項專業技術，用于以近乎完美的精度從圖像中識別和分離對象。

SAM的架構：

SAM 的架構是多組件的，用于圖像分割：

• 圖像編碼器(Image encoder): 這是一個視覺變換器（Vision Transformer, ViT）主干網絡，對輸入圖像進行編碼以產生密集的特征表示。SAM 使用 VIT-H 變體，包含 32 個變換器塊，每塊有 16 個注意力頭。
• 提示編碼器(Prompt Encoder): 處理各種類型的用戶輸入，例如：

A.點提示(Point Prompts): 帶有背景指示符的空間坐標。

B.框提示(Box Prompts): 兩點坐標。

C.文本提示(Text Prompts): 通過文本編碼器處理。

D.掩碼提示(Mask Prompts): 編碼為密集的空間特征。

• 掩碼解碼器(Mask Decoder): 一個結合圖像和提示嵌入以產生掩碼預測的變換器解碼器，由交叉注意力層（cross-attention layers）、自注意力層（self-attention layers）和一個 MLP 投影頭組成。

訓練包括三個階段：在1100萬個掩碼上的監督訓練、模型蒸餾和針對特定提示的微調。這種訓練可以實現對未見過的對象類別和領域的零樣本遷移，從而在其他分割任務中實現廣泛用途。

SAM的關鍵特性：

• 零樣本遷移到訓練中從未見過的新對象和類別
• 靈活的提示類型，包括點、框和文本描述
• 在超高分辨率下實現像素級完美分割
• 對各類圖像具有領域無關的行為
• 多對象分割，了解對象之間的關系
• 通過提供多個正確分割來處理歧義
• 可作為組件集成到更大的下游視覺系統中

SAM的頂級示例：

• Segment Anything(Meta): Meta Research 的原始模型。
• MobileSAM: 為移動設備優化的輕量級變體。
• HQ-SAM: 具有更好邊緣檢測的更高質量變體。
• SAM-Med2D: 用于醫療成像的醫學適配版本。

SAM的用例：

照片編輯者可以使用 SAM 以手動需要數分鐘或數小時才能達到的精度即時將主體與背景分離。另一方面，醫生可以使用 SAM 的變體在診斷影像中勾畫解剖結構。

你應該選擇哪種模型？

模型的選擇完全取決于你的需求：

結論

專業AI模型代表了各項改進之間的新成果。也就是說，機器能夠越來越像人類一樣理解、推理、創造和行動。然而，該領域最令人興奮的可能不是任何一種模型類型的承諾，而是當這些類型開始融合時將會出現什么。這樣的系統將整合 LCMs 的概念理解能力、LAMs 的行動能力、MOEs 的高效選擇能力以及 VLMs 的視覺理解能力，所有這些似乎都可以通過 SLM 技術在本地設備上運行。

問題不在于這是否會改變我們的生活，而在于我們將如何利用這些技術來解決最大的挑戰。工具已經在這里，可能性是無限的，未來取決于它們的應用。

譯者介紹

涂承燁，51CTO社區編輯，具有15年以上的開發、項目管理、咨詢設計等經驗，獲得信息系統項目管理師、信息系統監理師、PMP，CSPM-2等認證。

原文標題：Top 8 Specialized AI Models，作者：Riya Bansal