引言：大語言模型的高效微調及其在多樣化任務中的應用

在人工智能領域，大語言模型（LLMs）已成為推動技術進步的關鍵力量。它們在理解和生成自然語言方面展現出了卓越的能力，從而在問答系統、機器翻譯、信息提取等多樣化任務中發揮著重要作用。然而，要將這些模型適配到特定的下游任務中，通常需要進行微調（fine-tuning），這是一個資源密集型的過程。高效的微調方法因此成為了研究的熱點，旨在減少訓練成本，同時保持或提升模型性能。

盡管如此，實現這些方法在不同模型上的應用仍然需要非凡的努力。為了解決這一問題，研究者們開發了各種框架來簡化微調流程，提高資源利用率，并通過友好的用戶界面降低技術門檻。這些框架的出現，使得更多的研究者和開發者能夠利用LLMs，推動了人工智能技術的民主化。

LLAMA FACTORY是一個旨在普及LLMs微調的框架。它通過可擴展的模塊統一了多種高效微調方法，使得數百種語言模型能夠在資源有限的情況下進行高吞吐量的微調。此外，該框架還簡化了常用的訓練方法，如生成式預訓練、監督式微調、基于人類反饋的強化學習以及直接偏好優化等。用戶可以通過命令行或Web界面，以最小或無需編碼的方式自定義和微調他們的語言模型。

LLAMA FACTORY的有效性和效率已通過語言建模和文本生成任務得到實證驗證。該框架已在GitHub上發布，并獲得了超過13,000個星標和1,600個分支。

論文標題:
LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models

論文鏈接:
???https://arxiv.org/pdf/2403.13372.pdf??

項目鏈接：
???https://github.com/hiyouga/LLaMA-Factory??

LLAMA FACTORY框架的核心組成

下圖顯示了LLAMA FACTORY由三個主要模塊組成：模型加載器（Model Loader）、數據工作者（Data Worker）和訓練器（Trainer）。

1. 模型加載器：支持100+語言模型的準備工作

LLAMA FACTORY框架的模型加載器是其核心組件之一，負責準備和加載超過100種不同的語言模型。這一模塊通過建立模型注冊表，精確地為預訓練模型附加適配器，識別并處理模型的各個層次。此外，模型加載器還負責模型的初始化、模型補丁、模型量化和適配器附加等關鍵任務，確保了框架能夠靈活地擴展到數百種模型和數據集。

2. 數據工作器：處理和標準化不同任務的數據集

數據工作器是LLAMA FACTORY框架的另一個關鍵模塊，它通過一系列的數據處理流程，包括數據加載、數據對齊、數據合并和數據預處理，來處理和標準化不同任務的數據集。該模塊利用數據描述規范（下表）來統一不同格式的數據集，使其能夠適應各種任務。例如，對于文本生成模型的訓練，數據工作器提供了多種聊天模板，這些模板可以根據模型類型自動選擇，并通過分析器編碼句子。

3. 訓練器：整合多種高效微調方法

訓練器是LLAMA FACTORY框架的第三個核心模塊，它整合了多種高效的微調方法，如LoRA+和GaLore，通過替換默認組件來適應不同的任務和數據集。這些訓練方法與訓練器相互獨立，易于應用于各種任務。訓練器還支持分布式訓練，可以與DeepSpeed等工具結合使用，進一步降低內存消耗。

高效微調技術的分類與應用

高效的LLM微調技術可以分為兩個主要類別：一類專注于優化，另一類旨在計算。

1. 高效優化技術：減少參數調整成本

高效優化技術的主要目標是在保持成本最低的同時調整LLMs的參數。LLAMA FACTORY框架中包含的高效優化技術（下表）有freeze-tuning（凍結大部分參數，僅微調少量解碼器層的參數）、GaLore（將梯度投影到低維空間，以內存高效的方式進行全參數學習）、LoRA（凍結所有預訓練權重，引入可訓練的低秩矩陣）以及DoRA（將預訓練權重分解為幅度和方向組件，僅對方向組件應用LoRA）等。

2. 高效計算技術：降低計算所需的時間或空間

高效計算技術旨在減少LLMs所需的計算時間或空間。LLAMA FACTORY框架整合了一系列高效計算技術（上表），如混合精度訓練、激活檢查點、flash attention（一種硬件友好的注意力計算方法）、S2 attention（解決塊稀疏注意力中上下文擴展的挑戰）以及各種量化策略（使用低精度表示權重以減少內存要求）。此外，Unsloth技術通過Triton實現LoRA的反向傳播，減少了梯度下降過程中的浮點運算，加速了LoRA訓練。

LLAMA FACTORY的實用工具和特性

在當今大數據時代，高效地調整和優化LLMs對于實現其在下游任務中的最佳性能至關重要。LLAMA FACTORY框架應運而生，為廣大研究者和開發者提供了一個統一、高效的LLM微調平臺。以下是LLAMA FACTORY的一些核心工具和特性：

1. 加速推理：提供高吞吐量的并發推理服務

LLAMA FACTORY通過集成先進的計算技術，如混合精度訓練、激活檢查點以及特定的注意力機制優化（例如Flash Attention和S2 Attention），顯著提高了模型的推理速度。這些技術共同作用，使得在進行大規模模型推理時，能夠以更低的內存占用和更高的吞吐量執行，從而加速了模型的部署和應用。

2. 綜合評估：包含多種評估LLMs的指標

為了全面評估微調后模型的性能，LLAMA FACTORY集成了一系列評估指標，包括多項選擇任務的評估（如MMLU、CMMLU和C-Eval）以及文本相似度評分（如BLEU-4和ROUGE）。這些綜合評估工具不僅支持自動評估模型的性能，還能通過人工評估提供更加深入的洞察，幫助用戶從多個維度理解模型的優勢和局限。

LLAMABOARD：用戶友好的界面

為了降低LLM微調的門檻，LLAMA FACTORY提供了LLAMABOARD，一個基于Gradio構建的用戶友好界面，使得用戶無需編寫任何代碼即可輕松地進行模型的配置、訓練和評估（下圖）。

1. 易于配置：無需編碼即可自定義微調參數

通過LLAMABOARD，用戶可以通過簡單的圖形界面來配置微調參數，如學習率、批次大小等。該界面為用戶提供了默認的參數值推薦，同時也允許用戶根據自己的需求進行自定義，極大地簡化了模型微調的配置過程。

2. 可監控訓練：實時可視化訓練日志和損失曲線

在模型訓練過程中，LLAMABOARD實時更新并可視化訓練日志和損失曲線，使用戶能夠實時監控訓練進度和模型性能。這一特性為用戶提供了及時調整訓練策略的依據，有助于提高模型微調的效率和效果。

3. 靈活評估：支持自動和人工評估模型性能

LLAMABOARD支持在數據集上自動計算文本相似度分數來評估模型性能，同時也提供了與模型交互的界面，允許用戶通過與模型的對話來進行人工評估。這種靈活的評估方式使用戶能夠從不同角度全面了解模型的性能，為進一步優化模型提供了寶貴的反饋。

通過這些實用的工具和特性，LLAMA FACTORY為廣大研究者和開發者提供了一個高效、便捷的平臺，以促進LLMs在各種應用場景中的發展和應用。

實證研究：框架的訓練效率和任務適應性驗證

1. 訓練效率的實驗設置和結果分析

在LLAMA FACTORY框架的訓練效率實驗中，研究者們選擇了PubMed數據集作為訓練材料，該數據集包含超過3600萬條生物醫學文獻記錄。從這些文獻的摘要中提取了約40萬個token作為訓練樣本。實驗涉及了多種不同的高效微調方法，包括全參數微調（Full-tuning）、凍結微調（Freeze-tuning）、GaLore、LoRA以及4位QLoRA。實驗中，研究者們使用了Gemma-2B、Llama2-7B和Llama2-13B模型，并通過計算在訓練樣本上的困惑度（Perplexity, PPL）來評估不同方法的效率。

實驗結果顯示（下表，粗體字是最佳結果），QLoRA在內存占用上一致表現最佳，這得益于其在低精度下表示預訓練權重。而LoRA則在吞吐量上表現更優，這是由于使用了Unsloth對LoRA層進行的優化。在大型模型上，GaLore在降低PPL方面表現更好，而在較小的模型上，LoRA則具有優勢。這些結果凸顯了高效微調方法在適應特定任務時的有效性。

2. 在下游任務上的微調效果評估

為了評估不同高效微調方法的任務適應性，研究者們在多個下游任務上進行了實驗。這些任務包括CNN/DM、XSum和AdGen，分別代表了文本摘要和廣告文案生成等文本生成任務。實驗中選取了多個指令調優模型，并采用序列到序列的任務進行微調。比較了全參數微調（FT）、GaLore、LoRA和4位QLoRA的效果，并在每個任務的測試集上計算了ROUGE得分。

實驗結果表明（下表，粗體字是最佳結果），除了Llama2-7B和ChatGLM3-6B模型在CNN/DM和AdGen數據集上，LoRA和QLoRA在大多數情況下都取得了最佳性能。這表明這些高效微調方法在特定任務上具有良好的適應性。此外，Mistral-7B模型在英文數據集上表現更好，而Qwen1.5-7B模型在中文數據集上得分更高，這表明微調后模型的性能也與其在特定語言上的固有能力有關。

結論與未來工作：總結LLAMA FACTORY的貢獻和展望

LLAMA FACTORY框架通過模塊化設計，最小化了模型、數據集和訓練方法之間的依賴性，并提供了一個集成化的方法，可以使用多種高效微調技術對超過100種語言模型進行微調。此外，該框架還提供了一個靈活的Web UI LLAMABOARD，使用戶能夠在無需編碼的情況下自定義微調和評估語言模型。通過在語言建模和文本生成任務上的實證驗證，證明了框架的效率和有效性。

未來，研究者們計劃持續將LLAMA FACTORY與最新的模型和高效微調技術保持同步，并歡迎開源社區的貢獻。在未來的版本中，研究者們將探索更先進的并行訓練策略和多模態高效微調語言模型。

本文轉載自夕小瑤科技說，作者：Tscom

原文鏈接：??https://mp.weixin.qq.com/s/jJ5hItGNz91TiaDrdfYwUg??