又一突破！跨模型的Function_Calling來(lái)了
介紹
大型語(yǔ)言模型（LLM）通過(guò)工具調(diào)用能夠與外部數(shù)據(jù)源進(jìn)行交互。這項(xiàng)技術(shù)讓開(kāi)發(fā)者能夠利用LLM來(lái)獲取、交互和操作外部資源（比如數(shù)據(jù)庫(kù)、文件和API等）。
隨著越來(lái)越多的LLM提供商開(kāi)始提供工具調(diào)用功能，我們注意到市場(chǎng)上出現(xiàn)了多種多樣的接口。為了解決這個(gè)問(wèn)題，LangChain推出了一個(gè)標(biāo)準(zhǔn)化的接口，這樣用戶就可以輕松地在不同的LLM提供商之間進(jìn)行切換。
這個(gè)標(biāo)準(zhǔn)化接口包括以下幾個(gè)方面：
- ChatModel.bind_tools：這個(gè)方法允許您將工具的定義附加到模型的調(diào)用過(guò)程中。
- AIMessage.tool_calls?：這是一個(gè)新增的屬性，它使得從模型返回的 AIMessage 中獲取工具調(diào)用變得更加簡(jiǎn)單。
- create_tool_calling_agent?：這是一個(gè)構(gòu)建代理的函數(shù)，適用于任何實(shí)現(xiàn)了 bind_tools 并且能夠返回 tool_calls 的模型。
下面，我們將詳細(xì)解釋這些組件。
ChatModel.bind_tools
為了讓模型能夠使用工具，我們需要告訴它哪些工具是可以使用的。這可以通過(guò)向模型提供一個(gè)包含工具定義的列表來(lái)實(shí)現(xiàn)，這些工具定義包括了工具參數(shù)的模式。不同的模型提供商可能需要不同的格式，但是 ChatModel.bind_tools 提供了一個(gè)統(tǒng)一的接口，讓您可以指定哪些工具對(duì)模型來(lái)說(shuō)是可用的。
這意味著，無(wú)論您使用的是哪種工具調(diào)用模型，代碼的結(jié)構(gòu)都將非常相似。
from langchain_anthropic import ChatAnthropic
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.tools import tool
# ? Pydantic 類(lèi)
class multiply(BaseModel):
"""返回 'x' 和 'y' 的乘積。"""
x: float = Field(..., descriptinotallow="第一個(gè)因子")
y: float = Field(..., descriptinotallow="第二個(gè)因子")
# ? LangChain 工具
@tool
def exponentiate(x: float, y: float) -> float:
"""將 'x' 乘以 'y'。"""
return x**y
# ? 函數(shù)
def subtract(x: float, y: float) -> float:
"""從 'y' 中減去 'x'。"""
return y-x
# ? OpenAI 格式字典
# 還可以傳入一個(gè)帶有 "title" 和 "description" 的 JSON 模式
add = {
"name": "add",
"description": "將 'x' 和 'y' 相加。",
"parameters": {
"type": "object",
"properties": {
"x": {"type": "number", "description": "要相加的第一個(gè)數(shù)字"},
"y": {"type": "number", "description": "要相加的第二個(gè)數(shù)字"}
},
"required": ["x", "y"]
}
}
llm = ChatAnthropic(model="claude-3-sonnet-20240229", temperature=0)
# 每當(dāng)我們調(diào)用 `llm_with_tool` 時(shí)，這三個(gè)工具定義
# 都會(huì)被傳遞給模型。
llm_with_tools = llm.bind_tools([multiply, exponentiate, add, subtract])如果我們想使用不同的工具調(diào)用模型，我們的代碼看起來(lái)會(huì)非常相似：
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(model="gpt-4-turbo", temperature=0)
llm_with_tools = llm.bind_tools([multiply, exponentiate, add, subtract])那么調(diào)用 llm_with_tools 會(huì)是什么樣子呢？這就是 AIMessage.tool_calls 的用武之地。
AIMessage.tool_calls
在過(guò)去，當(dāng)使用工具調(diào)用模型時(shí)，模型返回的工具調(diào)用可能會(huì)放在 AIMessage.additional_kwargs 或 AIMessage.content 中，這取決于模型提供商的API，并遵循特定于提供商的格式。現(xiàn)在，AIMessage.tool_calls 提供了一個(gè)標(biāo)準(zhǔn)化的接口來(lái)獲取模型的工具調(diào)用。這樣，在調(diào)用了綁定了工具的模型之后，您將得到一個(gè)包含 tool_calls 屬性的輸出，其中列出了所有的工具調(diào)用。
在調(diào)用了綁定工具的模型之后，您將得到以下形式的輸出：
llm_with_tools.invoke([
("system", "你是一個(gè)有用的助手"),
("human", "5 的 2.743 次方是多少"),
])
# ?? 注意 tool_calls 屬性 ??
# -> AIMessage(
# cnotallow=...,
# additional_kwargs={...},
# tool_calls=[{'name': 'exponentiate', 'args': {'y': 2.743, 'x': 5.0}, 'id': '54c166b2-f81a-481a-9289-eea68fc84e4f'}]
# response_metadata={...},
# id='...'
# )其中 AIMessage 有一個(gè) tool_calls: List[ToolCall] 屬性，如果有工具調(diào)用，它將被填充，并將遵循工具調(diào)用的標(biāo)準(zhǔn)接口：
class ToolCall(TypedDict):
name: str
args: Dict[str, Any]
id: Optional[str]也就是說(shuō)，無(wú)論您是在調(diào)用 Anthropic、OpenAI、Gemini 等，只要有工具調(diào)用，它將以 AIMessage.tool_calls 形式作為 ToolCall 出現(xiàn)。
我們還添加了一些其他屬性，用于處理流式工具調(diào)用塊和無(wú)效工具調(diào)用。有關(guān)這些的更多信息，請(qǐng)閱讀工具調(diào)用文檔 這里。
create_tool_calling_agent
利用LLM的工具調(diào)用能力來(lái)構(gòu)建代理是一個(gè)非常強(qiáng)大的應(yīng)用場(chǎng)景。我們已經(jīng)有了一個(gè) create_openai_tools_agent() 構(gòu)造函數(shù)，它可以方便地構(gòu)建一個(gè)符合OpenAI工具調(diào)用API的代理。但是，這個(gè)構(gòu)造函數(shù)并不適用于Anthropic和Gemini等模型。現(xiàn)在，有了 bind_tools() 和 tool_calls 這兩個(gè)新接口，我們推出了 create_tool_calling_agent()，它能夠與任何支持工具調(diào)用的模型一起工作。
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import ConfigurableField
from langchain_core.tools import tool
from langchain.agents import create_tool_calling_agent, AgentExecutor
@tool
def multiply(x: float, y: float) -> float:
"""將 'x' 乘以 'y'。"""
return x * y
@tool
def exponentiate(x: float, y: float) -> float:
"""將 'x' 乘以 'y' 的指數(shù)。"""
return x**y
@tool
def add(x: float, y: float) -> float:
"""將 'x' 和 'y' 相加。"""
return x + y
prompt = ChatPromptTemplate.from_messages([
("system", "你是一個(gè)有用的助手"),
("human", "{input}"),
("placeholder", "{agent_scratchpad}"),
])
tools = [multiply, exponentiate, add]
llm = ChatAnthropic(model="claude-3-sonnet-20240229", temperature=0)
agent = create_tool_calling_agent(llm, tools, prompt)
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
agent_executor.invoke({"input": "3 加上 5 的 2.743 次方是多少。還有 17.24 減去 918.1241 是多少。"})我們可以使用 VertexAI 替代：
from langchain_google_vertexai import ChatVertexAI
llm = ChatVertexAI(
model="gemini-pro",
temperature=0,
convert_system_message_to_human=True
)
agent = create_tool_calling_agent(llm, tools, prompt)
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
agent_executor.invoke({"input": "3 加上 5 的 2.743 次方是多少。還有 17.24 減去 918.1241 是多少。"})或者 OpenAI：
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
agent = create_tool_calling_agent(llm, tools, prompt)
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
agent_executor.invoke({"input": "3 加上 5 的 2.743 次方是多少。還有 17.24 減去 918.1241 是多少。"})等等。
有關(guān)新代理的完整文檔，請(qǐng)查看 https://python.langchain.com/docs/modules/agents/agent_types/tool_calling。
總結(jié)
我們預(yù)計(jì)，將原生工具調(diào)用功能引入LLM的趨勢(shì)將繼續(xù)下去。我們希望這個(gè)標(biāo)準(zhǔn)化的工具調(diào)用接口能夠幫助LangChain用戶節(jié)省時(shí)間和精力，并使他們能夠更容易地在不同的LLM提供商之間進(jìn)行切換。
本文轉(zhuǎn)載自 ??AI小智??，作者： AI小智
