教大模型調用工具，已經是AI圈關注度最高的話題之一了。

這不，又有一項研究登上最新NeurIPS 2023——

它是一個叫做Chameleon（變色龍）的框架，號稱能將大語言模型直接變成魔法師的工具箱，來自微軟與加州大學洛杉磯分校（UCLA）。

相比其它模型，Chameleon一方面能調用的工具豐富，包括大型語言模型、視覺識別模型、網絡搜索引擎、Python編程功能以及基于規則的模塊都能搞定。

圖片

另一方面，性能也更好。

在科學問答任務ScienceQA和表格數學推理任務TabMWP中，Chameleon的準確率分別達到了86.54%和98.78%，在這兩個領域都顯著超過了目前相同設定的最佳模型。

事實上，被頂會收錄前，Chameleon推理框架已經成為了科技社區的焦點。短短半年內，其在GitHub上的項目獲得了近1000次的星標，同時，已有近100篇學術論文引用了這一框架。

在眾多AI相關的論文中，Chameleon更是脫穎而出，在1682篇文章中被評為AlphaSignal的周最佳論文。

圖片

此外，在YouTube上關于Chameleon的深度解讀視頻，也吸引了超過1萬次的觀看。

圖片

一起來看看這究竟是個什么框架。

源自變色龍的靈感

在實際應用中，我們經常會面臨各種類型和領域的不同工具，比如來自Hugging Face和GitHub的開源模型、像谷歌和必應這樣的網絡搜索服務、維基百科等知識庫、生成式人工智能模型、Python函數、語言翻譯和圖像生成等等。

一個引人注目的問題是：

如何將這些多樣的工具與大型語言模型相結合，以解決復雜的任務。

答案就在于工具增強（Tool-Augmented）的大型語言模型或大型語言模型代理（LLM Agent）！

通過規劃和整合多個工具和資源到大型語言模型框架中，可以創建一個更加多功能和強大的系統，以便處理各種領域的復雜任務。

因此，微軟和UCLA的研究人員提出了Chameleon-變色龍推理框架。

Chameleon的靈感來自自然界中的變色龍，就像變色龍能夠通過改變皮膚顏色來適應周圍環境一樣，Chameleon模型可以根據不同的輸入問題，組合和使用各種不同的工具來完成相應的復雜推理。

例如，在解決多模態任務ScienceQA時，Chameleon模型會為不同的問題生成不同的程序，以靈活組合各種工具，并按照一定的順序執行它們，從而最終得出答案。這種靈活性和適應性使Chameleon成為解決復雜任務的強大工具。

圖片

Chameleon模型與相關工作的比較

與相關工作相比，Chameleon模型在工具多樣性和調用靈活性方面具有顯著優勢。

首先，Chameleon支持LLM模型、視覺模型、網絡搜索引擎、Python函數以及基于規則的模塊，這些不同工具之間能夠通過自然語言進行通信。

與此不同，已有的工作如Toolformer僅支持少量工具，如問答、計算器、機器翻譯、WikiSearch和日歷查詢，而HuggingGPT僅適用于視覺處理相關的模型。

其次，Chameleon模型允許以類似自然語言的方式生成不同工具的調用組合，無需設計復雜格式的程序。

而在已有的工作中，如ViperGPT，則需要生成精心設計、符合特定格式的Python代碼，這對編程水平有限的用戶來說并不友好。

圖片

基于LLM的工具規劃器

Chameleon模型與以往方法的不同之處在于其能夠合成各種工具的組合，以適應不同類型的推理問題。

該模型由兩個主要組成部分構成：工具箱（Module Inventory）和LLM規劃器（LLM Planner）。工具箱包含了多種工具，使Chameleon模型具備了多樣性和多維度的推理能力。

LLM規劃器基于大型語言模型實現，可以根據不同的輸入問題生成自然語言形式的程序，從而實現對工具箱中的工具進行組合和調用。

圖片

LLM規劃器的實現非常簡潔高效，充分利用了大型語言模型的提示學習（Prompt Learning）和語境學習（In-Context Learning）能力。

LLM規劃器的輸入提示描述了需要生成不同工具組合序列的情境，同時定義了工具箱中的所有工具。

圖片

LLM規劃器的提示還提供了一些語境示例，以指導大型語言模型如何根據輸入信息生成正確的程序。

圖片

基于這些描述和示例，大型語言模型，如ChatGPT和GPT-4，能夠學習如何針對新的輸入問題生成適當的程序，以組合和調用工具箱中的不同工具，從而完成涉及復雜推理的輸入問題。

Chameleon模型的一大優勢在于為用戶提供了豐富的靈活性，只需提供語言描述，就能讓大型語言模型與外部工具協同工作，覆蓋多種類型和技能維度。

此外，它具有即插即用的特性，允許用戶無縫更新底層大型語言模型、添加新工具，并適應新的任務。

Chameleon工具箱的多樣技能

為滿足多樣的推理需求，Chameleon的工具箱中包含了各種不同技能的工具，包括圖像理解、知識理解、數學推理、表格推理和問答。

圖片

基于LLM的工具實現

需要強調的是，Chameleon的工具箱中包括了基于LLM（大型語言模型）的工具。

以“知識檢索（Knowledge Retrieval）”工具為例。

在幫助系統解決復雜問題時，檢索額外的知識至關重要。這個工具模塊利用大型語言模型強大的生成能力來獲取特定領域的知識。

這在處理專業領域問題，如科學和數學時尤為有用。

舉例來說，如果問題涉及理解稅表，這個模塊可以生成與稅務相關的背景知識，這對后續的推理步驟至關重要。

圖片

最近的研究表明，程序輔助方法可以提高大型語言模型在邏輯和數學推理方面的能力。

因此，工具箱中還包括了“程序生成（Program Generator）”工具，它利用大型語言模型的語境學習和代碼生成能力，結合輸入問題，生成可以有效解決給定問題的Python程序。

圖片

此外，還可以構建“解答生成（Solution Generator）”工具，它能指導大型語言模型充分利用輸入問題、上下文信息和歷史工具執行的中間結果，生成多步且詳細的解答。

圖片

Chameleon模型的評測表現

Chameleon模型在兩個復雜的多模態推理任務上進行了實驗評估，分別是ScienceQA和TabMWP。

ScienceQA，即科學問答，是一個涵蓋廣泛科學主題的多模態問答基準測試。

如下圖的例子所示，回答ScienceQA中的問題需要使用各種知識、工具和技能，例如圖像描述、文本檢測、知識檢索、在線資源搜索，以及視覺推理。

這要求模型具備包括視覺和語言推理在內的組合能力。

圖片

Chameleon模型中的LLM規劃器能夠合成程序，以調用不同的工具組合來回答ScienceQA中不同類型的問題。

例如，在下圖所示的第一個例子中，Chameleon模型識別到輸入圖像包含廣告文本，因此調用了“文本檢測（Text Detector）”工具來理解圖像中的文字。

隨后模型調用“知識檢索（Knowledge Retrieval）”工具來檢索問題所涉及到的術語“persuasive appeal”的相關背景知識。

最后，模型根據輸入問題和執行之前工具得到的中間結果得出最終的答案。

第二個問題涉及到識別圖像中的動物并回答環境適應性的問題。

Chameleon模型調用了“圖像描述（Image Captioner）”工具來理解圖像中的動物，并通過調用“必應搜索（Bing Search）”來獲取相關的學科背景知識，最終的答案充分利用了這些信息。

圖片

詳細的評測結果也充分證明了Chameleon模型在ScienceQA任務上的有效性。

圖片

Chameleon模型在表格推理任務TabMWP中同樣展現了其出色的靈活性和有效性。

TabMWP是一個基于表格上下文的數學推理任務，要求模型理解多種形式的表格并執行精確的數值計算。

圖片

在下圖的第一個示例中，涉及對計數表格進行數學推理。Chameleon模型調用“知識檢索（Knowledge Retrieval）”工具來理解如何計算列表的中位數。然后，它依賴于程序輔助工具進行精確計算。

第二個示例需要在較大的表格上下文中定位到一個單元格。為此，Chameleon模型調用工具箱中的“行查找（Row Lookup）”工具來準確定位表格中的相關行。

接下來，Chameleon模型只需理解簡化的表格，然后生成最終的自然語言答案，而無需生成Python代碼來增強數學推理。

圖片

類似地，Chameleon模型在TabMWP任務中也展現了強大的推理能力。

圖片

下圖突顯了這兩個任務中的關鍵基準模型。

在ScienceQA任務中，Chameleon模型與GPT-4合作，實現了86.5%的準確率，是當前最優秀的few-shot模型。

同樣地，Chameleon在TabMWP數據集上實現了98.8%的準確率，領先最先進模型17.0%的性能。

圖片

消融實驗揭示Chameleon的關鍵模塊

研究人員進行了消融實驗，分析了當禁用生成程序中的關鍵模塊時，Chameleon模型的準確率下降情況。

實驗結果顯示，“知識檢索（Knowledge Retrieval）”模塊在兩項任務中都扮演了重要的角色。

對于ScienceQA任務，特定領域的工具，如“必應搜索（Bing Search）”和與視覺相關的工具，起到了關鍵作用，而在TabMWP任務中，常用的“程序生成（Program Generator）”模塊對最終性能的影響也非常顯著。

圖片

Chameleon模型的工具規劃能力

不同工具的使用比例

通過可視化Chameleon模型生成的程序中不同工具的使用比例，可以觀察到使用不同的語言模型時，LLM規劃器表現出不同的規劃行為。

通常情況下，ChatGPT對于使用或不使用某些工具有較強的偏好。

例如，在回答ScienceQA問題時，ChatGPT傾向于調用“知識檢索（Knowledge Retrieval）”，占用比例為72%，而僅在3%的情況下調用“必應搜索（Bing Search）”。

在TabMWP任務中，ChatGPT更依賴“行查找（Row Lookup）”工具，較少調用“列查找（Column Lookup）”。

而GPT-4在工具選擇上表現得更加客觀和理性。

例如，在回答ScienceQA的科學問題時，GPT-4更頻繁地調用“知識檢索”，并且相對ChatGPT更頻繁地調用“Bing搜索”（11% vs. 3%）。

圖片

工具調用的轉態轉移圖

通過可視化Chameleon模型生成的程序中不同工具的狀態轉移圖，可以觀察到LLM規劃器在工具調用中所展現的規律。

例如，在ScienceQA任務中，Chameleon模型通常會選擇使用“知識檢索（Knowledge Retrieval）”來獲取大型語言模型中的內部知識，或者調用“必應搜索（Bing Search）”來獲取互聯網上的在線信息。

在TabMWP任務中，研究人員觀察到兩種主要的工具調用模式：

Chameleon模型要么直接通過自然語言推理來完成回答，要么利用程序生成相關的工具來增強邏輯和數學推理。

圖片

Chameleon模型的進一步發展

Chameleon模型通過其簡單高效的框架，實現了大型語言模型與多種外部工具的高效協同，從而顯著增強了在復雜任務上的推理能力。在大型語言模型的工具增強領域，未來有許多潛在的發展方向：

擴展工具箱：可以將工具箱擴展到更多工具，包括特定領域的工具，如Wolfram。這將進一步增加Chameleon模型在不同任務和領域中的適用性，使其成為更全面的多功能工具。

改進規劃器：可以考慮提出更加準確的規劃器，例如能夠逐步規劃下一步驟的工具，并根據執行結果的反饋進行規劃優化。這將有助于提高Chameleon模型在復雜任務中的效率和準確性。

輕量化替代：未來可以考慮將涉及到大型語言模型的部分替換為更輕量級的本地模型，以減小計算資源的消耗，提高模型的響應速度，并降低部署成本。這將使Chameleon模型更適用于實際應用場景。

總之，Chameleon模型的未來發展有望在工具增強領域取得更大的突破，為解決復雜問題提供更強大的支持，并拓展其應用范圍。

論文鏈接：https://arxiv.org/abs/2304.09842