ChatGPT引爆的AI熱潮也「燒到了」金融圈。

近來，彭博社的研究人員也開發了一個金融領域的GPT——Bloomberg GPT，有500億參數。

GPT-4的橫空出世，讓許多人淺嘗到了大型語言模型的強大能力。

然而，OpenAI不open。業界許多人紛紛開始做GPT的克隆，而且許多ChatGPT平替的模型都是基于已經開源的模型上構建，尤其是Meta開源的LLMa模型。

比如，斯坦福的Alpaca、UC伯克利聯手CMU、斯坦福等駱馬（Vicuna），初創公司Databricks的Dolly等等。

針對不同任務和應用構建的各種類ChatGPT的大型語言模型，在整個領域呈現出百家爭鳴之勢。

那么問題來了，研究者如何選擇合適的模型，甚至是多個模型，去完成一項復雜的任務呢？

近日，微軟亞洲研究院和浙江大學的研究團隊，發布了一個大模型協作系統HuggingGPT。

論文地址：https://arxiv.org/pdf/2303.17580.pdf

HuggingGPT利用ChatGPT作為控制器，連接HuggingFace社區中的各種AI模型，來完成多模態復雜任務。

這意味著，你將擁有一種超魔法，通過HuggingGPT，便可擁有多模態能力，文生圖、文生視頻、語音全能拿捏了。

HuggingGPT搭橋

研究者指出解決大型語言模型（LLMs）當前的問題，可能是邁向AGI的第一步，也是關鍵的一步。

因為當前大型語言模型的技術仍然存在著一些缺陷，因此在構建 AGI 系統的道路上面臨著一些緊迫的挑戰。

- 受限于文本生成的輸入和輸出形式，當前LLMs缺乏處理復雜信息（如視覺和語音）的能力；

- 在實際應用場景中，一些復雜任務通常由多個子任務組成，因此需要多個模型的調度和協作，這也超出了語言模型的能力范圍；

- 對于一些具有挑戰性的任務，LLMs在零樣本或少樣本設置下表現出優異的結果，但它們仍然比一些專家弱（如微調模型）。

為了處理復雜的人工智能任務，LLMs應該能夠與外部模型協調，以利用它們的能力。因此，關鍵點在于如何選擇合適的中間件來橋接LLMs和AI模型。

研究者發現，每個AI模型都可以通過總結其模型功能表示為一種語言形式。

由此，便引入了一個概念，「語言是LLMs，即ChatGPT，連接人工智能模型的通用接口」。

通過將AI模型描述納入提示中，ChatGPT可以被視為管理人工智能模型的大腦。因此，這一方法可以讓ChatGPT能夠調用外部模型，來解決實際任務。

簡單來講，HuggingGPT是一個協作系統，并非是大模型。

它的作用就是連接ChatGPT和HuggingFace，進而處理不同模態的輸入，并解決眾多復雜的人工智能任務。

所以，HuggingFace社區中的每個AI模型，在HuggingGPT庫中都有相應的模型描述，并將其融合到提示中以建立與ChatGPT的連接。

隨后，HuggingGPT將ChatGPT作為大腦來確定問題的答案。

到目前為止，HuggingGPT已經圍繞ChatGPT在HuggingFace上集成了數百個模型，涵蓋了文本分類、目標檢測、語義分割、圖像生成、問答、文本到語音、文本到視頻等24個任務。

實驗結果證明，HuggingGPT擁有處理多模態信息和復雜人工智能任務的能力。

四步工作流程

HuggingGPT整個工作流程可以分為如下四個階段：

- 任務規劃：ChatGPT解析用戶請求，將其分解為多個任務，并根據其知識規劃任務順序和依賴關系

- 模型選擇：LLM根據HuggingFace中的模型描述將解析后的任務分配給專家模型

- 任務執行：專家模型在推理端點上執行分配的任務，并將執行信息和推理結果記錄到LLM中

- 響應生成：LLM總結執行過程日志和推理結果，并將摘要返回給用戶

多模態能力，有了

實驗設置

實驗中，研究者采用了gpt-3.5-turbo和text-davinci-003這兩種GPT模型的變體作為大型語言模型（LLMs），這些模型可以通過OpenAI API公開訪問。

為了使LLM的輸出更加穩定，我們將解碼溫度設置為0。

同時，為了調整LLM的輸出以使其符合預期格式，我們在格式約束上設置了logit_bias為0.1。

研究人員在如下表格中提供了為任務規劃、模型選擇和反應生成階段而設計的詳細提示，其中{{variable}}表示在提示被輸入LLM之前，需要用相應的文本填充域值。

研究人員在廣泛的多模態任務上測試了HuggingGPT。

在ChatGP和專家模型的配合下，HuggingGPT可以解決語言、圖像、音頻和視頻等多種模式的任務，包含了檢測、生成、分類和問題回答等多種形式的任務。

雖然這些任務看起來很簡單，但掌握HuggingGPT的基本能力是解決復雜任務的前提條件。

比如，視覺問答任務：

文本生成：

文生圖：

HuggingGPT可以整合多個輸入的內容來進行簡單的推理。可以發現，即使有多個任務資源，HuggingGPT也能將主要任務分解成多個基本任務，最后整合多個模型的推理結果，得到正確答案。

此外，研究人員通過測試評估了HuggingGPT在復雜任務情況下的有效性。

就HuggingGPT處理多項復雜任務的能力進行了展示。

當處理多個請求的時候，可能包含多個隱含任務或者需要等多方面的信息，這時依靠一個專家模型來解決是不夠的。

而HuggingGPT可以通過任務規劃組織多個模型的協作。

一個用戶請求中可能明確包含多個任務：

下圖展示了HuggingGPT在多輪對話場景下應對復雜任務的能力。

用戶將一個復雜的請求分成幾個步驟，通過多輪請求達到最終目標。結果發現，HuggingGPT可以通過任務規劃階段的對話情境管理來跟蹤用戶請求的情境狀態，并且可以很好地解決用戶提到的請求資源以及任務規劃。

「賈維斯」開源

目前，這一項目已經在GitHub上開源，但是代碼并沒有完全公布。

有趣的是，研究者給這個項目命名為《鋼鐵俠》中的賈維斯，無敵AI這就來了。

JARVIS：一個連接LLMs和ML社區的系統

順便提一句，HuggingGPT需要有了OpenAI的API才可以使用。

網友：研究的未來

JARVIS / HuggingGPT就像此前Meta提出的Toolformer一樣，都在充當著連接器的作用。

甚至，包括ChatGPT plugins也是如此。

網友稱，「我強烈懷疑第一個人工通用智能（AGI）的出現將比預期更早。它將依靠「膠水」人工智能，能夠智能地將一系列狹義人工智能和實用工具粘合在一起。

我獲得了訪問插件權限，這使它一夜之間從數學菜雞變成了數學天才。當然，這只是一個小步驟，但卻預示著未來的發展趨勢。

我預測，在接下來的一年左右，我們將看到一種人工智能助手，它與數十個大型語言模型（LLMs）及類似工具相連，而終端用戶只需向其助手發出指令，讓其為他們完成任務。這個科幻般的時刻即將到來。

還有網友稱，這就是未來的研究方法。

GPT在一大堆工具面前，知道如何使用它們了。