LLaMA-Factory 微調與部署詳細流程：從入門到實踐
介紹
時隔已久的 llama-factory 系列教程更新了。本篇文章是第七篇，之前的六篇，大家酌情選看即可。因為llama-factory進行了更新，我前面幾篇文章的實現部分，都不能直接用了。
我將為大家介紹如何使用 llama-factory Lora 微調模型、部署模型、使用python調用API。
llama-factory 安裝
首先建議大家閱讀一遍兩份不錯的文章：
- 官方readme: https://github.com/hiyouga/LLaMA-Factory/blob/v0.9.1/README_zh.md
- 官方推薦的知乎教程：https://zhuanlan.zhihu.com/p/695287607
- 官方文檔: https://llamafactory.readthedocs.io/zh-cn/latest/
我這篇博客的與他們的不同在于，我按照我做實驗的流程，給大家演示一遍。方便大家一看就懂，心里對大致的流程有個大概。
安裝包
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"LLaMA-Factory 默認是從Huggingface 下載模型，建議大家改為從國內下載模型。
如果您在 Hugging Face 模型和數據集的下載中遇到了問題，可以通過下述方法使用魔搭社區。
export USE_MODELSCOPE_HUB=1Windows 使用set USE_MODELSCOPE_HUB=1將 model_name_or_path 設置為模型 ID 來加載對應的模型。在魔搭社區查看所有可用的模型，例如 LLM-Research/Meta-Llama-3-8B-Instruct。
您也可以通過下述方法，使用魔樂社區下載數據集和模型。
export USE_OPENMIND_HUB=1Windows 使用set USE_OPENMIND_HUB=1將 model_name_or_path 設置為模型 ID 來加載對應的模型。在魔樂社區查看所有可用的模型，例如 TeleAI/TeleChat-7B-pt。
下載模型
我喜歡使用可視化的網站頁面下載模型權重。
llamafactory-cli webui
啟動服務之后，進入主機對應的 ip 和端口就可以看到網頁。
在 Model name 下拉框中挑選模型，選中之后，再點擊下述的加載模型。如果模型權重沒有下載，則會進行下載，然后加載進顯存中。在下方就會出現對話框就可以與模型進行對話了。
微調模型
數據集
點擊 Train 后， 就可以看到當前可用的很多數據集。
在選中數據集后，點擊預覽數據集，即可看到數據集的樣例。如果我們想微調模型，也需要把數據集的樣式給整理成上述格式。
點擊查看關于數據集的說明：https://github.com/hiyouga/LLaMA-Factory/tree/v0.9.1/data
大家仿照alpaca_zh_demo.json的樣式準備好數據集，然后在dataset_info.json完成數據集的注冊。
注冊數據集， 下圖是我在dataset_info.json注冊的guihua_ner數據集，然后就可以找到該數據集，并訓練模型：
訓練模型
可以直接點擊可視化界面的 Start 按鈕訓練模型。也可點擊預覽命令查看在終端運行的命令。
我一般不使用可視化窗口訓練模型。我喜歡直接運行訓練模型的命令
llamafactory-cli train \
--stage sft \
--do_train True \
--model_name_or_path qwen/Qwen2.5-7B-Instruct \
--preprocessing_num_workers 16 \
--finetuning_type lora \
--template qwen \
--flash_attn auto \
--dataset_dir data \
--dataset alpaca_zh_demo \
--cutoff_len 2048 \
--learning_rate 5e-05 \
--num_train_epochs 3.0 \
--max_samples 100000 \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 8 \
--lr_scheduler_type cosine \
--max_grad_norm 1.0 \
--logging_steps 5 \
--save_steps 100 \
--warmup_steps 0 \
--packing False \
--report_to none \
--output_dir saves/Qwen2.5-7B-Instruct/lora/train_2024-11-25-09-56-29 \
--bf16 True \
--plot_loss True \
--ddp_timeout 180000000 \
--optim adamw_torch \
--lora_rank 8 \
--lora_alpha 16 \
--lora_dropout 0 \
--lora_target all除了使用上述的命令行方式訓練模型外，llama-factory還提供了使用 yaml 文件訓練模型的方式。在example文件夾下可看到很多訓練和推理的 yaml 文件，針對其中的參數就行修改，即可使用。
我以微調qwen/Qwen2.5-7B-Instruct為例：
qwen2.5-7B-ner.yaml文件內容：
### model
model_name_or_path: qwen/Qwen2.5-7B-Instruct
### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all
### dataset
dataset: guihua_ner
template: qwen
cutoff_len: 2048
max_samples: 1000
overwrite_cache: true
preprocessing_num_workers: 16
### output
output_dir: saves/qwen2.5-7B/ner_epoch5
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true
### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 5.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000
### eval
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500在 llamafactory-cli train 后，填入 yaml 文件的路徑：
llamafactory-cli train config/qwen2.5-7B-ner.yaml然后就會開始訓練模型，最終訓練完成的模型保存在output_dir: saves/qwen2.5-7B/ner_epoch5。
在輸出文件夾路徑中，可以找到訓練過程的損失值變化圖片。
微調后的模型推理
在完成模型的微調后，測試一下模型的微調效果。對于微調模型推理，除原始模型和模板外，還需要指定適配器路徑 adapter_name_or_path 和微調類型 finetuning_type。
lora_vllm.yaml的文件內容如下：
model_name_or_path: qwen/Qwen2.5-7B-Instruct
adapter_name_or_path: ../saves/qwen2.5-7B/ner_epoch5
template: qwen
finetuning_type: lora
infer_backend: vllm
vllm_enforce_eager: true運行下述命令，就可以看到下圖的對話窗口：
llamafactory-cli webchat lora_vllm.yaml
根據上圖命名實體識別的輸出，可以發現微調模型確實有效果。
除了網頁聊天的部署之外，還可通過下述多種方式進行部署:
# llamafactory-cli chat xxx.yaml
# llamafactory-cli webchat xxx.yaml
# API_PORT=8000 llamafactory-cli api xxx.yaml本文轉載自 ??AI悠閑區??，作者： jieshenai
