如何微調(diào)大模型，讓它更聰明地使用工具？ 精華
雖然大型語言模型（LLMs）已經(jīng)重新定義了 AI 的可能性，但它們依然有個根本性的局限：無法與外部世界互動，知識停留在訓練時的時間點，能力也局限于文本生成。在這篇文章中，我將探討如何通過微調(diào) LLMs 來讓它們使用工具，突破這一局限。我會先從概念上講解這是怎么實現(xiàn)的，然后通過一個具體的 Python 代碼示例帶你一步步操作。。
工具調(diào)用（Tool Calling）的現(xiàn)狀
現(xiàn)在，像 GPT-4.1、Claude 和 Llama 3 這樣的模型都已標配工具調(diào)用功能。你只需要通過一個 JSON 對象描述工具的用法，現(xiàn)代模型就能自己搞清楚啥時候用、怎么用。
雖然這種方式加上一些清晰的指令在很多場景下都挺好使，但有兩種情況可能就不夠用了：
1. 你用的是一個沒被訓練過工具調(diào)用的小型語言模型。
2. 你的應用場景需要復雜且特定領域的工具調(diào)用。
這時候，微調(diào)（fine-tuning）就派上用場了。下面我會先聊聊微調(diào)的一些核心概念，然后進入代碼示例。
什么是微調(diào)？
微調(diào)就是通過額外的訓練，讓模型適配特定場景[1]。簡單來說，“訓練”模型就是通過例子教它新技能。
微調(diào)有幾個關鍵好處：
? 賦予模型特定的“性格”
? 教會模型新行為（比如工具調(diào)用）
? 讓模型做一些難以用語言描述的事情
? 降低模型的成本和延遲
訓練數(shù)據(jù)
微調(diào)模型最重要的部分是你的訓練數(shù)據(jù)集。這得包含能體現(xiàn)你想要模型模仿的行為的例子。
構建上下文
在教模型如何使用工具時，我們得先決定怎么組織模型的上下文。雖然方法很多，這里介紹一種 Llama 風格的做法[2,3]：
Llama 3 風格的工具調(diào)用和聊天模板 [3]
當然，如果需要多次調(diào)用工具或進行多輪對話，事情會變得更復雜。
整理訓練示例
確定上下文格式后，我們可以用它來創(chuàng)建訓練示例。理想情況下，示例來自你希望模型應用的真實場景（比如，拿用戶真實對話改成上述格式）。
但很多時候，你還沒部署應用，根本沒這些數(shù)據(jù)。這時候可以借助公開數(shù)據(jù)集（比如 Hugging Face 上的數(shù)據(jù)集），或者用更大、更強的模型生成合成數(shù)據(jù)集。
在下面的例子中，我會展示如何用不同語言模型組合生成一個合成數(shù)據(jù)集。
示例：微調(diào) Gemma 3 以使用工具
有了微調(diào)的基本概念，我們來看一個具體例子。我將訓練 ??gemma-3-1b-it?? 來使用工具。雖然這個模型已經(jīng)過指令調(diào)優(yōu)（instruction-tuned，能進行對話），但它還沒學會怎么用工具。
代碼、數(shù)據(jù)集和最終模型都可以在下面鏈接找到：
?? GitHub Repo | Training Data | Fine-tuned Model
步驟 1：定義工具
第一步是定義一個多樣化的工具集，加入訓練數(shù)據(jù)。模型在訓練中見過的工具越多，它泛化工具調(diào)用能力的機會就越大（而不是只會用訓練中見過的幾個工具）。
我跟 ChatGPT 和 Claude 聊了幾輪后，定了 40 個不同類別的工具，涵蓋數(shù)學、檢索、生產(chǎn)力等。然后讓 Claude（通過 Cursor）把工具名稱、描述和參數(shù)寫進一個 ??tools.yaml?? 文件。
# 示例工具元數(shù)據(jù)
- name: calculator
description: Perform basic arithmetic calculations.
parameters:
properties:
expression:
type: string
description: Arithmetic expression to evaluate.工具（基本）定好后，我讓 Claude 為每個工具寫 Python 函數(shù)。過程中，我會時不時回過頭改 ??tools.yaml??? 和 ??tools.py?? 文件，解決后續(xù)步驟中冒出的問題。
步驟 2：生成查詢
接下來，我為微調(diào)數(shù)據(jù)集生成了三類查詢：
- ?no_tool：無需工具就能回答的查詢
- ?easy：需要工具調(diào)用，但直接調(diào)用即可
- ?hard：需要工具調(diào)用，但可能得先“思考”一下
所有查詢都通過 OpenAI 的 API 由 GPT-4.1 生成。對于 no_tool 查詢，我通過硬編碼參數(shù)（比如類別、種子、難度、拼寫錯誤）增加多樣性。對于 easy 和 hard 查詢，我把每個工具的元數(shù)據(jù)傳給 GPT-4.1，讓它為每個工具生成 5 個查詢。
最后，我生成了 600 個查詢。生成查詢的代碼可以在這里找到。
步驟 3：生成對話記錄（Traces）
有了工具和查詢，我們可以開始構建完整的對話（即 traces）來訓練 Gemma 3。第一個重要決定是系統(tǒng)消息和工具調(diào)用的結構。
Gemma 3 只有兩種角色：user 和 model（不像 Llama 3.2 有 user、assistant、system 和 ipython 四種角色）[3,4]。所以，我得決定如何組織高級系統(tǒng)指令、工具調(diào)用和工具調(diào)用結果。以下是我用的格式示例：
<|begin_of_text|>
<|start_header_id|>user<|end_header_id>
<instructions>
# 系統(tǒng)指令放這里
</instructions>
<tools>
# 工具列表和元數(shù)據(jù)放這里
</tools>
<|start_header_id|>user<|end_header_id>
# 用戶查詢放這里
<|start_header_id|>assistant<|end_header_id>
# 助手回復放這里
<tool_call>
# 助手工具調(diào)用放這里
</tool_call>
<|start_header_id|>user<|end_header_id>
<tool_result>
# 工具調(diào)用結果放這里
</tool_result>
<|start_header_id|>assistant<|end_header_id>
<final_answer>
# 助手的最終回復放這里
</final_answer>對于 no_tool 查詢，我把系統(tǒng)提示和用戶查詢傳給 ??google/gemma-3n-E4B-it???（通過 Together AI 的 API）生成回復。對于 easy 查詢，我讓 GPT-4.1 生成工具調(diào)用，執(zhí)行后傳給 ??google/gemma-3n-E4B-it?? 生成最終回復。hard 查詢的流程類似，但我特別鼓勵 GPT-4.1 在調(diào)用工具前寫出思考過程。
最后，我手動檢查并修復了示例中失敗的工具調(diào)用或格式錯誤，然后將最終數(shù)據(jù)集推送到 Hugging Face hub。這個過程分為兩個筆記本：??2-gen_traces.ipynb??? 和 ??3-data_prep.ipynb??。
步驟 4：微調(diào)模型
600 個 traces 中，477 個用于訓練，60 個用于開發(fā)，60 個用于測試（3 個被移除）。另外，我只用了 easy 查詢和 20% 的 no_tool 查詢（hard 查詢因性能問題未用于訓練）。
from datasets import load_dataset
# 加載數(shù)據(jù)集
ds = load_dataset("shawhin/tool-use-finetuning")
# 過濾數(shù)據(jù)集
import numpy as np
np.random.seed(42)
def filter_dataset(example):
# 保留所有需要工具的 easy 查詢
if example['query_type'] == 'easy' and example['tool_needed'] == True:
return True
# 保留 20% 的 no_tool 查詢
if example['query_type'] == 'no_tool':
return np.random.random() < 0.2
# 排除其他
return False
# 應用過濾
ds = ds.filter(filter_dataset)我從 Hugging Face hub 用 transformers 庫加載了 ??gemma-3-1b-it??。注意，這里必須用指令調(diào)優(yōu)模型，因為訓練基礎 Gemma 模型需要更多訓練數(shù)據(jù)和精力來學會工具調(diào)用。
from transformers import AutoTokenizer, AutoModelForCausalLM
# 加載模型
model_name = "google/gemma-3-1b-it"
model = AutoModelForCausalLM.from_pretrained(
model_name,
device_map="mps", # 我用的是 Mac
attn_implementatinotallow='eager' # 模型卡推薦
)
# 加載 tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_name)接著，我預處理數(shù)據(jù)以使用合適的聊天模板。注意：??apply_chat_template()?? 方法要求消息角色交替，所以我把第一條消息角色改成了“system”。
def preprocess(row):
# 將第一條 user 消息角色改為 system
messages = row['trace']
messages[0]['role'] = 'system'
# 向數(shù)據(jù)集添加 tokenized 文本
return {
"text": tokenizer.apply_chat_template(messages, tokenize=False,
add_generation_prompt=False, return_tensors="pt")
}
# 應用預處理函數(shù)
ds = ds.map(preprocess)然后，我用 peft 庫設置 LoRA 訓練。這讓可訓練參數(shù)從 10 億降到 1300 萬。以下參考資料幫我選了超參數(shù)[5,6]。
from peft import LoraConfig
r = 16
lora_alpha = 32
lora_dropout = 0.05
target_modules = "all-linear"
peft_config = LoraConfig(r=r,
lora_alpha=lora_alpha,
lora_dropout=lora_dropout,
target_modules=target_modules,
bias="none",
task_type=TaskType.CAUSAL_LM)最后，我用 trl 庫進行監(jiān)督微調(diào)（supervised fine-tuning）。超參數(shù)如下：
from trl import SFTConfig
# 超參數(shù)
lr = 2e-4
num_epochs = 3
batch_size = 1
finetuned_model_name = "gemma-3-1b-tool-use"
# 定義訓練參數(shù)
training_args = SFTConfig(
output_dir=f"models/{finetuned_model_name}",
num_train_epochs=num_epochs,
learning_rate=lr,
per_device_train_batch_size=batch_size,
per_device_eval_batch_size=batch_size,
gradient_accumulation_steps=8,
warmup_ratio = 0.03,
max_grad_norm = 0.3,
eval_strategy="steps",
save_strategy="steps",
logging_steps=20,
eval_steps=20,
save_steps=20,
load_best_model_at_end=True,
bf16=False,
fp16=False,
metric_for_best_model="eval_loss",
greater_is_better=False,
)
from trl import SFTConfig, SFTTrainer
# 訓練模型
trainer = SFTTrainer(
model=model,
args=training_args,
train_dataset=ds["train"],
eval_dataset=ds["validation"],
processing_class=tokenizer,
peft_cnotallow=peft_config,
)
trainer.train()訓練結果如下，訓練和驗證損失都在下降，說明效果不錯。
訓練和驗證損失圖
步驟 5：評估模型
雖然訓練結果看著不錯，但我們還得驗證模型在工具調(diào)用上是否真有提升。我檢查了三個評估標準：
- ?工具調(diào)用時機：模型是否在需要時調(diào)用工具，且在不需要時不調(diào)用。
- ?正確工具選擇：如果模型調(diào)用工具，是否選對了工具。
- ?工具調(diào)用成功：即使選對了工具，格式可能出錯，這個評估檢查格式是否正確。
最終結果如下，數(shù)值表示每個模型在各項評估中的通過率：
令人驚訝的是，指令調(diào)優(yōu)模型在工具調(diào)用時機上表現(xiàn)不錯，但常選錯工具或搞砸工具調(diào)用語法。
評估代碼可以在這里(???https://github.com/ShawhinT/llm-tool-use-ft/blob/main/5-eval_model.ipynb??)找到。
總結
工具調(diào)用讓語言模型從靜態(tài)文本生成器變成了能與現(xiàn)實世界互動的動態(tài)系統(tǒng)。我們通過微調(diào) ??gemma-3-1b-it??，讓它更可靠地使用工具。
指令調(diào)優(yōu)模型在知道何時調(diào)用工具上表現(xiàn)尚可，但選工具和調(diào)用工具的格式常出錯。微調(diào)模型在后兩項能力上提升了 15%。
本文轉載自??AI大模型觀察站??，作者：AI大模型觀察站
