精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

清華等開源「工具學習基準」ToolBench,微調模型ToolLLaMA性能超越ChatGPT

人工智能
人工智能基礎模型也類似,如果僅靠訓練階段得到的權重,使用場景就會非常受限,而最近提出的工具學習(tool learning),將特定領域的專用工具與大規模基礎模型相結合,可以實現更高的效率、性能。

人類具有創造和利用工具的能力,使得我們可以突破身體的限制,探索更廣闊的世界。 

人工智能基礎模型也類似,如果僅靠訓練階段得到的權重,使用場景就會非常受限,而最近提出的工具學習(tool learning),將特定領域的專用工具與大規模基礎模型相結合,可以實現更高的效率、性能。

不過目前工具學習的相關研究還不夠深入,也缺乏相關的開源數據和代碼。

最近,清華大學自然語言處理實驗室等支持的開源社區OpenBMB (Open Lab for Big Model Base)發布了ToolBench項目,可以幫助開發者構建開源、大規模、高質量的指令調優數據,促進構建具有通用工具使用能力的大型語言模型。

圖片

倉庫鏈接:https://github.com/OpenBMB/ToolBench

ToolBench倉庫中提供了相關數據集、訓練和評估腳本,以及在ToolBench上微調的功能模型ToolLLaMA,具體特點為:

1. 支持單工具和多工具方案

其中單工具設置遵循LangChain提示風格,多工具設置遵循AutoGPT的提示風格。

2. 模型回復不僅包括最終答案,還包含模型的思維鏈過程、工具執行和工具執行結果

3. 支持真實世界級別的復雜性,支持多步工具調用

4. 豐富的API,可用于現實世界中的場景,如天氣信息、搜索、股票更新和PowerPoint自動化

5. 所有的數據都是由OpenAI API自動生成并由開發團隊進行過濾,數據的創建過程很容易擴展

不過需要注意的是,目前發布的數據還不是最終版本,研究人員仍然在對數據進行后處理來提高數據質量,并增加真實世界工具的覆蓋范圍。

ToolBench

ToolBench的總體思路是基于BMTools,在有監督數據中訓練大型語言模型。

圖片

倉庫中包含31.2萬次真實API調用得到的9800條數據,涵蓋單工具場景和多工具場景,下面是單工具的統計信息。

圖片

其中每行數據都是一個json dict,包含數據創建的提示模板、工具使用的人工指令(查詢)、中間思維/工具執行循環和最終答案。

Tool Descrition:
BMTools Tool_name: translation
Tool action: get_translation
action_input: {"text": target texts, "tgt_lang": target language}


Generated Data:
{
    "prompt": "Answer the following questions as best you can. Specifically, you have access to the following APIs:\n\nget_translation: . Your input should be a json (args json schema): {{\"text\" : string, \"tgt_lang\" : string, }} The Action to trigger this API should be get_translation and the input parameters should be a json dict string. Pay attention to the type of parameters.\n\nUse the following format:\n\nQuestion: the input question you must answer\nThought: you should always think about what to do\nAction: the action to take, should be one of [get_translation]\nAction Input: the input to the action\nObservation: the result of the action\n... (this Thought/Action/Action Input/Observation can repeat N times, max 7 times)\nThought: I now know the final answer\nFinal Answer: the final answer to the original input question\n\nBegin! Remember: (1) Follow the format, i.e,\nThought:\nAction:\nAction Input:\nObservation:\nFinal Answer:\n (2) Provide as much as useful information in your Final Answer. (3) Do not make up anything, and if your Observation has no link, DO NOT hallucihate one. (4) If you have enough information and want to stop the process, please use \nThought: I have got enough information\nFinal Answer: **your response. \n The Action: MUST be one of the following:get_translation\nQuestion: {input}\n Agent scratchpad (history actions):\n {agent_scratchpad}",
    "query": "My intention is to convert the data provided in ?? ?? ??????? ??????? ?????? ???????? into Arabic(ara).\n",
    "chains": [
        {
            "thought": "I need to use the get_translation API to convert the text into Arabic.",
            "action": "get_translation",
            "action_input": "{\"text\": \"What are the three branches of the military?\", \"tgt_lang\": \"ara\"}",
            "observation": "\"?? ?? ?????? ??????? ????? ?\""
        }
    ],
    "answer": "The translation of \"What are the three branches of the military?\" into Arabic is \"?? ?? ?????? ??????? ????? ?\"."
}

模型實驗

機器評估:研究人員對每個工具隨機抽取100個鏈步(chain steps)來構建機器評估測試平臺,平均27個最終步驟和73個中間工具調用步驟,其中最終步驟的評估使用Rouge-L指標,中間步驟的評估使用ExactMatch指標進行評估。


圖片

人工評估:在天氣、地圖、股票、翻譯、化學和WolframAlpha工具中隨機抽取10個query,然后評估工具調用過程的通過率、最終答案以及和ChatGPT最終答案的比較。

ChatGPT評估:通過ChatGPT對LLaMA和ChatGPT的答案和工具使用鏈進行自動評估。

評估結果如下(分數越高越好),可以看到ToolLLaMA在不同場景下與ChatGPT的性能相同或更好。

圖片

工具學習

在清華大學、人民大學、北京郵電大學等個國內外知名高校和大學聯合發布的一篇論文中,對工具學習進行了系統的研究,介紹了工具學習的背景,包括認知起源、基礎模型的范式轉變,以及工具和模型的互補作用。

圖片

論文鏈接:https://arxiv.org/pdf/2304.08354.pdf

文中還回顧了現有的工具學習研究,包括工具增強型和工具導向型學習,并制定了一個通用的工具學習框架:從理解用戶指令開始,模型應該學會把一個復雜的任務分解成幾個子任務,通過推理動態地調整計劃,并通過選擇合適的工具有效地征服每個子任務。

文中還討論了如何訓練模型以提高工具使用能力并促進工具學習的普及。

考慮到之前的工作中缺乏系統的工具學習評估,研究人員用17種有代表性的工具進行了實驗,并展示了當前基礎模型在熟練利用工具方面的潛力。

論文最后討論了幾個需要進一步研究的工具學習的開放性問題,例如確保安全和可信賴的工具使用、用基礎模型實現工具創建,以及解決個性化的難題。

參考資料:

https://github.com/OpenBMB/ToolBench

責任編輯:武曉燕 來源: 新智元
相關推薦

2023-08-02 13:50:06

2024-04-18 10:39:57

2025-05-28 11:46:18

開源模型數據

2025-09-01 08:54:00

2025-02-05 12:53:21

2025-08-15 12:53:15

2023-10-17 12:33:27

AI模型

2023-07-04 10:18:25

開源模型

2023-06-05 12:32:48

模型論文

2024-01-03 12:56:39

2021-11-23 09:30:34

架構AI技術

2025-02-06 14:28:16

2025-07-24 11:38:40

2025-03-19 09:15:00

AI算法模型

2023-09-11 15:57:16

人工智能模型GPT-4

2023-08-08 14:36:11

模型AI

2024-10-15 13:07:38

2023-10-16 13:28:00

數據AI

2024-03-06 18:09:06

Linux性能工具

2023-09-26 11:58:32

點贊
收藏

51CTO技術棧公眾號

日本午夜一区二区三区| 欧美成年人视频网站欧美| 国产视频一区二区视频| aaa在线观看| 国产精品一区二区不卡| 欧美最猛性xxxxx(亚洲精品)| 欧美一区二区三区粗大| 91夜夜蜜桃臀一区二区三区| 日本道在线观看一区二区| 一道本在线观看视频| 天天干天天干天天干| 美女视频一区在线观看| 久久久亚洲网站| 嘿嘿视频在线观看| 免费福利视频一区| 制服视频三区第一页精品| 欧美亚洲精品一区二区| 黄色网页在线播放| 久久一区二区三区四区| 91在线看www| 中文字幕一区二区人妻视频| 最新国产精品| 日韩中文字幕在线视频| 一区二区不卡免费视频| 日韩第一区第二区| 欧美日韩一区二区在线观看视频| 一卡二卡三卡视频| 午夜免费激情视频| 国产精品国产三级国产普通话对白| 国产精品久久久久久久久妇女| 日韩大陆欧美高清视频区| 在线免费黄色小视频| 成人免费黄色| 91九色最新地址| 极品美女扒开粉嫩小泬| 欧美xxx黑人xxx水蜜桃| 亚洲欧洲成人精品av97| 天堂√在线观看一区二区| 三级网站免费观看| 国产白丝网站精品污在线入口| 国产日韩精品电影| 亚洲在线视频播放| 日本色综合中文字幕| 青青草一区二区| 久久久精品福利| 国产精品色在线| 色与欲影视天天看综合网| 五月天精品在线| 精品福利久久久| 亚洲欧美日本另类| 亚洲AV无码国产成人久久| 天堂成人娱乐在线视频免费播放网站| 精品福利在线导航| 超碰caoprom| 欧美激情极品| 精品伊人久久97| www.色天使| 九九精品久久| 国产一区二区三区在线| 欧美波霸videosex极品| 日韩欧美不卡| 俺去亚洲欧洲欧美日韩| 青草影院在线观看| 欧美体内she精视频在线观看| 欧美日韩成人网| 国产真实的和子乱拍在线观看| 亚洲天堂久久| 欧美最近摘花xxxx摘花| 午夜一区二区三区四区| 热久久免费视频| 成人免费自拍视频| 性网爆门事件集合av| 成人精品一区二区三区四区| 极品校花啪啪激情久久| 蜜桃免费在线| ㊣最新国产の精品bt伙计久久| 超碰97在线看| 色戒汤唯在线观看| 欧美又粗又大又爽| 亚洲制服在线观看| 中文无码日韩欧| 精品亚洲va在线va天堂资源站| 微拍福利一区二区| 91偷拍一区二区三区精品| 亚洲欧美日韩专区| 日韩在线观看av| 黄色一级片在线| 欧美亚洲三级| 成人久久18免费网站图片| 精品国产av 无码一区二区三区| 成人精品在线视频观看| 三区精品视频观看| 日韩伦理电影网站| 色成人在线视频| 自拍一级黄色片| 色愁久久久久久| 俺去亚洲欧洲欧美日韩| 国偷自拍第113页| 另类专区欧美蜜桃臀第一页| 国产精品制服诱惑| 91大神xh98hx在线播放| 亚洲国产视频在线| 少妇黄色一级片| 国产精东传媒成人av电影| 中文字幕日韩av电影| 日韩精品――中文字幕| 麻豆精品精品国产自在97香蕉| 国产精品久久7| 毛片在线看片| 色老综合老女人久久久| 精品人妻一区二区免费| 色婷婷热久久| 日韩av电影国产| 欧美一级一区二区三区| 国产精品久久久久久久久果冻传媒| 久久成人福利视频| 国产精品久久久久久久久久久久久久久 | 国产一区二区三区在线观看免费 | 欧美日韩在线一区| 午夜免费一级片| 欧美理论电影大全| 68精品国产免费久久久久久婷婷| 国产男女猛烈无遮挡| 久久久久久久av麻豆果冻| 女人帮男人橹视频播放| 日韩欧国产精品一区综合无码| 亚洲第一网中文字幕| 手机在线中文字幕| 久久久精品午夜少妇| 国产精品一区二区av| 黄网页免费在线观看| 欧美视频一区在线| 全黄一级裸体片| 亚洲日本欧美| 国产精品久久7| 日本乱理伦在线| 欧美一级在线观看| √天堂中文官网8在线| 美女在线观看视频一区二区| 日本一区不卡| 亚洲第一二三四区| 日韩电影中文 亚洲精品乱码| 久久一二三四区| 国产精品一二三区| 在线无限看免费粉色视频| 成人毛片免费| 日韩有码在线播放| 一本色道久久综合亚洲| 中文字幕精品一区二区三区精品| 久久久久久久久久久免费视频| 人人精品亚洲| 日本高清久久天堂| 日韩美女一级视频| 色又黄又爽网站www久久| 少妇大叫太粗太大爽一区二区| 国产日韩欧美高清免费| 久久精品国产一区二区三区日韩| 老牛影视精品| 亚洲乱码一区av黑人高潮 | 欧美揉bbbbb揉bbbbb| 毛片久久久久久| 乱一区二区av| 亚洲激情免费视频| 成人影院中文字幕| 欧美一级黄色网| 国产尤物视频在线| 欧美日韩国产高清一区| 麻豆天美蜜桃91| 成人黄色一级视频| 亚洲色图38p| 欧美高清在线| 国产精品日韩欧美一区二区| 色偷偷色偷偷色偷偷在线视频| 亚洲美女av在线播放| 中文字幕一区二区三区人妻四季| 亚洲日本欧美天堂| 精品一区二区三区四区五区六区| 国产欧美日韩一区二区三区在线| 色99中文字幕| 日韩一区网站| 琪琪第一精品导航| 国产区在线看| 亚洲精品国产精品乱码不99按摩 | 久久99国内精品| 精品一二三四五区| 色棕色天天综合网| 91免费欧美精品| 末成年女av片一区二区下载| 亚洲一区第一页| www.国产欧美| 欧美吞精做爰啪啪高潮| 九九视频免费看| 国产无遮挡一区二区三区毛片日本| 亚洲欧美手机在线| 日韩一区二区久久| 在线视频亚洲自拍| 色天下一区二区三区| 成人网欧美在线视频| 三级在线看中文字幕完整版| 久久久www成人免费精品| 三级视频在线播放| 欧美一区二区观看视频| 亚洲不卡在线视频| 亚洲国产精品一区二区www| 极品尤物一区二区| 99久久国产综合精品女不卡| 日本一二三四区视频| 日韩主播视频在线| 欧美一级片免费播放| 国产精品久久久久无码av| 免费亚洲一区二区| 99国产精品久久一区二区三区| 国产精品男人爽免费视频1| 岛国毛片av在线| 久久综合久久88| avav免费在线观看| 精品亚洲一区二区三区在线观看 | 亚洲色图国产精品| 蜜臀久久99精品久久久| 欧美高清精品3d| 中文天堂在线资源| 色综合久久久久久久| 日本熟女一区二区| 亚洲永久精品国产| 日本福利片在线观看| 国产精品久久久久三级| 乐播av一区二区三区| 26uuu欧美日本| 少妇被狂c下部羞羞漫画| 国产精品亚洲午夜一区二区三区| 狠狠操狠狠干视频| 麻豆视频观看网址久久| 天天插天天操天天射| 日韩中文字幕区一区有砖一区| 好吊妞无缓冲视频观看| 在线观看视频免费一区二区三区| 喜爱夜蒲2在线| 中文字幕人成人乱码| 警花观音坐莲激情销魂小说| 欧美高清视频手机在在线| 亚洲一区尤物| 亚洲国产一成人久久精品| 日本不卡一区二区三区四区| 91偷拍一区二区三区精品| 一区二区三区免费看| 围产精品久久久久久久 | 亚洲看片免费| 男人添女人下面高潮视频| 中文一区二区| 国产极品美女高潮无套久久久| 亚洲欧美成人| 国产天堂在线播放| 天堂va蜜桃一区二区三区漫画版| 国产97色在线 | 日韩| 日韩成人午夜精品| 在线看的黄色网址| 国产一区二区调教| 亚洲午夜精品在线观看| 高清成人在线观看| 醉酒壮男gay强迫野外xx| 久久人人超碰精品| 五月婷六月丁香| 亚洲女人的天堂| 18精品爽视频在线观看| 欧美日韩亚洲激情| 樱花视频在线免费观看| 欧美剧情片在线观看| 精品人妻无码一区二区三区蜜桃一| 精品国精品国产尤物美女| 少妇又色又爽又黄的视频| 一区二区三区久久精品| 国产精品扒开做爽爽爽的视频| 欧美福利视频在线| xx欧美视频| 成人福利视频在线观看| а√中文在线天堂精品| 日韩av在线电影观看| 婷婷综合视频| www.日本在线播放| 强制捆绑调教一区二区| 女王人厕视频2ⅴk| 91麻豆免费观看| 国产麻豆a毛片| 香蕉加勒比综合久久 | 日韩一区二区三区观看| 少妇人妻精品一区二区三区| 色99之美女主播在线视频| 国产精品—色呦呦| 国产精品女视频| 成人激情自拍| 亚洲视频小说| 99成人在线| 国产大片一区二区三区| 99精品桃花视频在线观看| 国产人与禽zoz0性伦| 亚洲成人免费影院| 6—12呦国产精品| 亚洲精品成人久久| 91麻豆免费在线视频| 奇米影视亚洲狠狠色| 91午夜精品| 亚洲一区二区三区精品动漫| 国产一区二区三区成人欧美日韩在线观看 | 亚洲第一网站免费视频| 欧美高清视频| 国产不卡视频在线| 91精品导航| 国产系列第一页| 奇米影视一区二区三区| 国产视频久久久久久| 亚洲欧美日韩国产综合在线| 亚洲精品国产欧美在线观看| 亚洲成人三级在线| 在线网址91| 成人国产精品av| 精品日韩免费| www.com毛片| 成人中文字幕电影| 日本高清一二三区| 欧美日本精品一区二区三区| 欧美xxx.com| 91精品国产高清| 盗摄牛牛av影视一区二区| 国产免费色视频| 久久99精品国产.久久久久久| 国产91丝袜美女在线播放| 欧美日韩综合视频网址| 成人毛片在线精品国产| 欧美成人剧情片在线观看| 欧美性aaa| 亚洲精品国产精品国自产观看| 午夜在线视频一区二区区别| 天天躁日日躁狠狠躁av麻豆男男 | 一级片视频在线观看| 亚洲成人网在线| 97久久人人超碰caoprom| 99视频在线播放| 亚洲香蕉网站| 久久久久久久人妻无码中文字幕爆| 一区二区三区不卡视频| 性生活视频软件| 久久久久久久久久久av| 香蕉成人app| 国产尤物av一区二区三区| 国产裸体歌舞团一区二区| 亚洲二区在线播放| 欧美精品三级日韩久久| 亚洲天天影视| 成人网在线免费观看| 欧美成人高清| 五月天国产视频| 亚洲综合激情另类小说区| 亚洲精品国产手机| 久久免费视频在线| 日本中文字幕在线一区| 成人在线观看黄| 亚洲国产精品国自产拍av| 在线播放一级片| 久久亚洲国产精品| 亚洲超碰在线观看| 国产青青在线视频| 久久美女高清视频| 中文天堂在线资源| 欧美成人中文字幕在线| 国产成人在线中文字幕| 男女高潮又爽又黄又无遮挡| 国产婷婷色一区二区三区在线| 真实新婚偷拍xxxxx| 久久综合亚洲社区| 成人黄色av网址| 热久久精品免费视频| 国产精品久久久久久久久免费丝袜| 国产又粗又猛又爽又黄的| 久久久久久69| 国产精品亚洲人成在99www| 天天干天天草天天| 亚洲综合一区二区精品导航| 神马电影在线观看| 国产欧美日韩精品丝袜高跟鞋| 欧美69视频| 少妇大叫太粗太大爽一区二区| 欧美日韩国产色站一区二区三区| 欧美亚洲天堂| 欧美一区二区综合| 国产乱码精品一区二区三区av | 成年人av电影| 亚洲精品少妇网址| 动漫一区二区三区| 日韩av黄色网址| 亚洲丝袜美腿综合| 欧美捆绑视频| av激情久久| 免费看精品久久片| 国产污视频在线看| 久久精品国产视频| 国产午夜一区| 国产免费a级片| 欧美精品乱人伦久久久久久| 欧美激情网站| 免费网站在线观看视频|