最強(qiáng)組合：HuggingFace+ChatGPT ——

HuggingGPT，它來了！

只要給定一個AI任務(wù)，例如“下面這張圖片里有什么動物，每種有幾只”。

它就能幫你自動分析需要哪些AI模型，然后直接去調(diào)用HuggingFace上的相應(yīng)模型，來幫你執(zhí)行并完成。

整個過程，你要做的就只是用自然語言將你的需求輸出。

這項由浙大與微軟亞研院的合作成果，一經(jīng)發(fā)布就迅速爆火。

英偉達(dá)AI研究科學(xué)家Jim Fan直呼：

這是我本周讀到的最有意思的論文。它的思想非常接近“Everything App”（萬物皆App，被AI直接讀取信息）。

而一位網(wǎng)友則“直拍大腿”：

這不就是ChatGPT“調(diào)包俠”嗎？

AI進(jìn)化速度一日千里，給我們留口飯吃吧……

所以，具體怎么回事兒？

HuggingGPT：你的AI模型“調(diào)包俠”

其實，若說這個組合物只是“調(diào)包俠”，那格局小了。

它的真正用義，是AGI。

如作者所言，邁向AGI的關(guān)鍵一步是能夠解決具有不同領(lǐng)域和模式的復(fù)雜AI任務(wù)。

我們目前的成果離此還有距離——大量模型只能出色地完成某一特定任務(wù)。

然而大語言模型LLM在語言理解、生成、交互和推理方面的表現(xiàn)，讓作者想到：

可以將它們作為中間控制器，來管理現(xiàn)有的所有AI模型，通過“調(diào)動和組合每個人的力量”，來解決復(fù)雜的AI任務(wù)。

在這個系統(tǒng)中，語言是通用的接口。

于是，HuggingGPT就誕生了。

它的工程流程分為四步：

首先，任務(wù)規(guī)劃。ChatGPT將用戶的需求解析為任務(wù)列表，并確定任務(wù)之間的執(zhí)行順序和資源依賴關(guān)系。

其次，模型選擇。ChatGPT根據(jù)HuggingFace上托管的各專家模型的描述，為任務(wù)分配合適的模型。

接著，任務(wù)執(zhí)行。混合端點（包括本地推理和HuggingFace推理）上被選定的專家模型根據(jù)任務(wù)順序和依賴關(guān)系執(zhí)行分配的任務(wù)，并將執(zhí)行信息和結(jié)果給到ChatGPT。

最后，輸出結(jié)果。由ChatGPT總結(jié)各模型的執(zhí)行過程日志和推理結(jié)果，給出最終的輸出。

如下圖所示。

假定我們給出這樣一個請求：

請生成一個女孩正在看書的圖片，她的姿勢與example.jpg中的男孩相同。然后請用你的聲音描述新圖片。

可以看到HuggingGPT是如何將它拆解為6個子任務(wù)，并分別選定模型執(zhí)行得到最終結(jié)果的。

具體效果怎么樣？

作者采用gpt-3.5-turbo和text-davinci-003這倆可以通過OpenAI API公開訪問的變體，進(jìn)行了實測。

如下圖所示：

在任務(wù)之間存在資源依賴關(guān)系的情況下，HuggingGPT可以根據(jù)用戶的抽象請求正確解析出具體任務(wù)，完成圖片轉(zhuǎn)換。

在音頻和視頻任務(wù)中，它也展現(xiàn)了組織模型之間合作的能力，通過分別并行和串行執(zhí)行兩個模型的方式，完了一段“宇航員在太空行走”的視頻和配音作品。

此外，它還可以集成多個用戶的輸入資源執(zhí)行簡單的推理，比如在以下三張圖片中，數(shù)出其中有多少匹斑馬。

一句話總結(jié)：HuggingGPT可以在各種形式的復(fù)雜任務(wù)上表現(xiàn)出良好的性能。

項目已開源，名叫「賈維斯」

目前，HuggingGPT的論文已經(jīng)發(fā)布，項目則正在建設(shè)中，代碼只開源了一部分，已攬獲1.4k標(biāo)星。

我們注意到，它的項目名稱很有意思，不叫本名HuggingGPT，而是鋼鐵俠里的AI管家賈維斯（JARVIS）。

有人發(fā)現(xiàn)它和3月份剛發(fā)布的Visual ChatGPT的思想非常像：后者HuggingGPT，主要是可調(diào)用的模型范圍擴(kuò)展到了更多，包括數(shù)量和類型。

不錯，其實它們都有一個共同作者：微軟亞研院。

具體而言，Visual ChatGPT的一作是MSRA高級研究員吳晨飛，通訊作者為MSRA首席研究員段楠。

HuggingGPT則包括兩位共同一作：

Shen Yongliang，TA來自浙江大學(xué)，在MSRA實習(xí)期間完成此項工作；

Song Kaitao，MSRA研究員。

其通訊作者為浙大計算機(jī)系教授莊越挺。

最后，對于這個強(qiáng)大新工具的誕生，網(wǎng)友們很是興奮，有人表示：

ChatGPT已成為人類創(chuàng)建的所有AI的總指揮官了。

也有人據(jù)此認(rèn)為：

AGI可能不是一個LLM，而是由一個“中間人”LLM連接的多個相互關(guān)聯(lián)的模型。

那么，我們是否已經(jīng)開啟“半AGI”的時代了？

論文地址：??https://arxiv.org/abs/2303.17580???
項目鏈接：???https://github.com/microsoft/JARVIS??

參考鏈接：???https://twitter.com/DrJimFan/status/1642563455298473986??