讓ChatGPT長(zhǎng)“手”！Meta爆火新論文，讓語(yǔ)言模型學(xué)會(huì)自主使用工具

作者：魚(yú)羊 2023-02-14 09:28:35

人工智能新聞

基于Meta的這個(gè)思路，ChatGPT這些大語(yǔ)言模型可以缺啥補(bǔ)啥。

本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

ChatGPT爆火，Meta也坐不住了。

微軟和谷歌正在搜索引擎那邊刺刀拼刺刀呢，誰(shuí)想Meta冷不防拋出一篇新論文，頓時(shí)吸引全場(chǎng)目光：

瞄準(zhǔn)ChatGPT的“軟肋”，讓大語(yǔ)言模型自行學(xué)會(huì)了使用工具！

簡(jiǎn)單來(lái)說(shuō)，基于Meta的這個(gè)思路，ChatGPT這些大語(yǔ)言模型可以缺啥補(bǔ)啥：

不會(huì)算數(shù)，就自己掏出計(jì)算器計(jì)算；需要最新信息，就自己連接搜索引擎搜索……

是不是有點(diǎn)AI自己操作自己內(nèi)味兒了？

論文一出，不少AI研究者就將其視作“過(guò)去幾周里最重要的論文”。

這篇論文給人們打開(kāi)了思路，讓大語(yǔ)言模型未來(lái)可以成為所有事情的起點(diǎn)。

還有網(wǎng)友表示：我老婆原本不太關(guān)心AI，聽(tīng)說(shuō)Meta這論文都驚了。普通人真的得好好想想這事兒了。

自學(xué)工具用法的大語(yǔ)言模型

這一回，Meta給這個(gè)會(huì)使工具的語(yǔ)言模型起名Toolformer。

Toolformer的內(nèi)核邏輯，總結(jié)下來(lái)很簡(jiǎn)單，就是：

專業(yè)的任務(wù)交給專業(yè)的工具來(lái)做。

在生成文本的過(guò)程中，遇到特定的任務(wù)，Toolformer會(huì)直接調(diào)用所需工具的API。

比如說(shuō)，在執(zhí)行這個(gè)任務(wù)：1400名參與者，有400人通過(guò)了測(cè)試，占多大比例？（為了讓ChatGPT掌握數(shù)學(xué)運(yùn)算，OpenAI可沒(méi)少折騰，詳見(jiàn)量子位：ChatGPT連夜迭代：你老婆不好使了）

Toolformer絲毫不慌，直接“掏出”計(jì)算器，現(xiàn)場(chǎng)計(jì)算得出結(jié)果：29%。

又或者說(shuō)，想要備注個(gè)事情，只知道是周五，具體日期還不知道？

沒(méi)關(guān)系，翻出日歷查一下就好了。

甚至翻譯任務(wù)也可以直接丟給它，各國(guó)語(yǔ)言都能夠識(shí)別并翻譯，直接省去了在軟件切換語(yǔ)言的工夫。

除了這些工具之外，Toolformer還能夠調(diào)用Q&A以及搜索引擎等工具。

這時(shí)，就已經(jīng)有網(wǎng)友開(kāi)始暢想未來(lái)了：

現(xiàn)在，ChatGPT必應(yīng)能幫你比較酒店價(jià)格，那未來(lái)有了Toolformer，預(yù)定性價(jià)比高的酒店豈不是也可以甩給AI去做了。

不過(guò)話說(shuō)回來(lái)，Toolformer面對(duì)不同的任務(wù)都能行云流水般地調(diào)用對(duì)應(yīng)的工具，它是怎么做到的呢？

一言以蔽之，Toolformer經(jīng)過(guò)訓(xùn)練，能夠在生成文本中插入API調(diào)用，直接將任務(wù)外包出去。

在這其中，訓(xùn)練的過(guò)程是以自監(jiān)督的方式完成的。這意味著無(wú)需大量人類標(biāo)注好的數(shù)據(jù)，Toolformer只需要少量演示就能學(xué)會(huì)調(diào)用API。

具體來(lái)說(shuō)，先給Toolformer提供少量已經(jīng)手動(dòng)標(biāo)注好的例子，然后讓語(yǔ)言模型在實(shí)踐中生成一個(gè)更大的包含示例的數(shù)據(jù)集。

這個(gè)過(guò)程主要分成三步：

首先是取樣，通俗點(diǎn)講就是看輸入的文本提示中，哪個(gè)地方需要調(diào)用哪種工具，然后直接將“調(diào)用的API”插入到對(duì)應(yīng)的地方；

其次是執(zhí)行，執(zhí)行上一步的“調(diào)用API”任務(wù)，將生成的文本直接插入進(jìn)去；

最后是過(guò)濾，上一步中工具生成的文本如果對(duì)輸入文本來(lái)說(shuō)用處不大的話，就可以直接pass掉，保留對(duì)文本有用的地方。

這樣一來(lái)，基于這些有用的數(shù)據(jù)集，Toolformer便可以對(duì)預(yù)先訓(xùn)練好的大語(yǔ)言模型進(jìn)行微調(diào)。

講了這么多，Toolformer的真實(shí)效果到底如何，有沒(méi)有一個(gè)橫向的數(shù)據(jù)對(duì)比？

論文將Toolformer和多個(gè)其他大語(yǔ)言模型，包括GPT-J，OPT（66B）以及GPT-3（175B）進(jìn)行了對(duì)比，比較了它們?cè)跀?shù)學(xué)、Q&A以及機(jī)器翻譯等方面的能力。

結(jié)果顯示，在學(xué)習(xí)使用工具后，GPT-J的零樣本學(xué)習(xí)性能的到了顯著的提高。

△Toolformer：是在GPT- J上微調(diào)，并加強(qiáng)了CCNet子集中的API調(diào)用/ Toolformer （disabled）：同上，但解碼期間禁用API調(diào)用

并且在大多數(shù)任務(wù)上性能都有明顯提高，在一些下游任務(wù)中Toolformer甚至已經(jīng)超過(guò)了GPT-3。

“未來(lái)大語(yǔ)言模型發(fā)展的重要分支”

說(shuō)到這里，不知道你怎么看這件事兒。

有不少網(wǎng)友是已經(jīng)按捺不住，想著去拔AI電源了。

而引發(fā)更多討論的，是這樣一種觀點(diǎn)：Toolformer可能是未來(lái)LLM（大語(yǔ)言模型）發(fā)展的一個(gè)重要分支。

大語(yǔ)言模型進(jìn)化出使用工具的能力，知道應(yīng)該在何時(shí)、使用何種工具來(lái)實(shí)現(xiàn)需求，也就意味著許多在今天還需要人類和AI協(xié)作完成的工作，未來(lái)AI都能自己搞定了。

比如現(xiàn)在還多少有些“人工智障”的語(yǔ)音助手，如果背后有ChatGPT+Toolformer的技術(shù)能力支撐，那么從挑選符合需求的餐廳，到直接訂座，這一系列動(dòng)作都可以被絲滑地串聯(lián)起來(lái)。

又比如微軟的必應(yīng)搜索接入ChatGPT。如果這些大語(yǔ)言模型能充分調(diào)用各種API、使用UI，那它不僅能幫人們完成搜索，還能完全改變?nèi)藗儾僮骶W(wǎng)頁(yè)的方式——一切輸入都可以化簡(jiǎn)為自然語(yǔ)言。

甚至，ChatGPT這樣的模型，借助各種API重寫(xiě)自己的代碼，也將成為可能。

事實(shí)上，讓AI掌握工具的使用方法這個(gè)研究方向，也并不只有Meta在做。

比如谷歌即將嵌入到搜索中的Bard，背后模型LaMDA就內(nèi)置了一套工具箱，包括計(jì)算器、翻譯器和訪問(wèn)搜索引擎獲取外部信息的接口。

還有開(kāi)源項(xiàng)目LangChain，也致力于將大語(yǔ)言模型與外部的計(jì)算、知識(shí)來(lái)源相結(jié)合，以開(kāi)發(fā)真正可用的應(yīng)用程序。

而現(xiàn)在，Meta又使大模型對(duì)工具的使用“熟練度”、“自主性”，更上一層樓。

不過(guò)，也有網(wǎng)友指出，Toolformer所展現(xiàn)出的“自學(xué)”能力，還是一個(gè)初級(jí)、“狹義”的版本。

這些模型本身仍然是純粹的函數(shù)：給定相同的輸入（包括采樣時(shí)的隨機(jī)值），它將總是產(chǎn)生相同的輸出。
有點(diǎn)像是在說(shuō)，一個(gè)大語(yǔ)言模型能學(xué)會(huì)將特定領(lǐng)域的語(yǔ)言作為其自然語(yǔ)言的一部分，以此納入來(lái)自外部工具的知識(shí)。