譯者 | 李睿

審校 | 重樓

數據質量、模型架構以及偏見緩解方面的專家建議開發人員可以掌握LLM微調來提高人工智能開發的性能和效率。

為什么微調至關重要

大型語言模型（LLM）配備了處理廣泛任務的通用能力，包括文本生成、翻譯、提取摘要和回答問題。盡管LLM的性能表現非常強大，但它們在特定的任務導向型問題或特定領域（例如醫學和法律等）上仍然效果不佳。

LLM微調是指對預訓練好的LLM進行進一步訓練，使用更小、更具體的數據集，以增強其在特定領域任務（如理解醫療行業的術語）上的表現。無論是從頭開始構建LLM還是使用額外的微調數據來擴展LLM，遵循以下這些技巧都將獲得更健壯的模型。

1.優先考慮數據質量

在微調LLM時，可以將模型視為一道菜肴，數據則是其原料。正如一道美味佳肴依賴于高質量的食材一樣，性能良好的模型也依賴于高質量的數據。

“垃圾進，垃圾出”原則表明，如果提供給模型的數據有缺陷，那么無論什么樣的超參數調優或優化也無法挽救其性能。

以下是管理數據集的實用技巧，可以幫助你獲得高質量的數據：

• 明確目標：在收集數據之前，明確應用程序的目標和期望的輸出類型，然后確保只收集相關的數據。
• 質量優于數量：一個規模較小且高質量的數據集通常比一個較大卻嘈雜的數據集更有效。
• 消除噪聲：通過刪除不相關或錯誤的條目來清理數據集，采用插補技術處理缺失值或刪除不完整記錄以保持數據完整性。數據增強技術可以增強數據集的大小和多樣性，同時保持其質量。

2.選擇合適的模型架構

選擇合適的模型架構對于優化LLM的性能至關重要，因為不同的架構是為了處理各種類型的任務而設計的。其中，BERT和GPT是兩種流行的LLM。

像GPT這樣的僅解碼器模型在涉及文本生成的任務中表現出色，使其成為會話代理和創意寫作的理想選擇，而像BERT這樣的純編碼器模型更適合涉及場景理解的任務，例如文本分類或命名實體識別。

微調注意事項

考慮正確設置這些參數以進行有效的微調：

• 學習率：這是決定模型更新其權重的速度的最重要參數。雖然它是通過試錯法指定的，但可以首先從他們在基礎模型的研究論文中稱為最優的速率開始。如果數據集小于用于基準測試的數據集，則這個最佳速率可能效果不佳。對于微調LLM，通常建議的學習率為1e-5到5e-5。
• 批量大小：批量大小指定模型在一次迭代中處理的數據樣本數量。更大的批處理大小可以促進訓練，但需要更多的內存。同樣，較小的批量大小允許模型徹底處理每一條記錄。為了獲得最佳結果，批量大小的選擇應與硬件能力以及數據集相匹配。
• 預熱步驟：這些步驟用于將學習率從較小的初始值逐漸提高到峰值。這種方法可以穩定初始訓練，并幫助模型找到更好的收斂路徑。
• 周期：LLM通常只需要1～3個周期進行微調，因為它們可以從最小曝光的數據集中學習。更多訓練周期可能會導致過擬合，提前停機可以防止過擬合。

像網格搜索或隨機搜索等技術可用于實驗不同的超參數以對其進行調優。

3.平衡計算資源

LLM的功能非常強大，但由于其龐大的規模和復雜的架構以資源密集著稱。微調這些模型需要大量的計算能力，因此需要高端GPU、專用硬件加速器和廣泛的分布式訓練框架。

利用AWS和Google Cloud等可擴展的計算資源可以提供處理這些需求所需的能力，但會產生成本，特別是在運行多個微調迭代時。如果開發人員花費時間對自己的LLM進行微調，那么投資專用硬件可以節省訓練和微調成本，并減少維持其運行的持續成本。

了解微調目標

模型參數是在訓練步驟中優化的權重。對模型進行微調包括調整模型參數以優化其針對特定任務或領域的性能。

根據在微調過程中調整的參數數量，有不同類型的微調：

• 完全微調：在這種方法中，調整預訓練模型的所有權重，重新校準這個新任務/域的所有參數。這種方法允許模型對新領域有更深入的理解，從而可能帶來更好的性能。然而，這種方法是資源密集型的，需要適當的計算能力和內存。
• 參數高效微調：與完全微調相比，參數高效微調（PEFT）更新模型參數的一小部分，同時保持其余部分不變。這樣可訓練參數的數量將比原始模型少得多（在某些情況下，只有原始權重的15%~20%）。像LoRA這樣的技術可以將可訓練參數的數量減少1萬倍，使內存需求更易于管理，非常適合節省時間，并且能夠在更受限的硬件資源上運行。

模型壓縮方法

剪枝、量化和知識蒸餾等技術也可以使微調過程更易于管理和高效。

• 剪枝去除了不太重要或冗余的模型參數，可以在不犧牲太多精度的情況下降低復雜性。
• 量化將模型參數轉換為較低精度的格式，這可以顯著減少模型的大小和計算需求。根據模型的不同，降低的浮點精度對精度幾乎沒有影響。
• 知識蒸餾將知識從大型復雜模型轉移到較小的更高效的模型，使其更容易部署。

優化策略

采用隨機梯度下降（SGD）、Adam和RMSprop等優化算法，可以實現精確的參數調整，使微調過程更加高效。

4.執行持續的評估和迭代

一旦對LLM進行了微調，就需要對其進行持續監控和定期更新，以維護其性能。需要考慮的關鍵因素包括數據漂移和模型漂移，數據漂移涉及輸入數據統計屬性的變化，而模型漂移指的是輸入和輸出之間關系隨時間的變化。

因此，必須應用迭代微調，調整模型參數以響應這些漂移，確保模型隨著時間的推移繼續提供準確的結果。

為了評估模型的性能，定量和定性方法都是必不可少的。定性評估技術（例如準確性、F1分數、BLEU分數、困惑度等）可以用來衡量模型的表現。

另一方面，定性評估技術可用于評估模型在真實場景中的性能。需要由領域專家進行人工測試來評估模型的輸出，并且必須根據人類反饋的強化學習技術（RLHF）迭代地將反饋應用于模型。

增量學習允許模型不斷地從新數據中學習，而不需要完全重新訓練，使其適應數據漂移和模型漂移。

5.解決偏見和公平問題

在微調過程中，必須確保模型不會產生任何基于性別或種族的歧視性輸出，并確保模型優先考慮公平性。

造成偏見的主要原因有以下兩個：

• 有偏差的數據：如果在訓練過程中使用的數據不代表真實情況，那么數據可能存在偏差。這可能是由于抽樣技術，其中更多的數據被饋送到某一組，而另一個組在數據中的代表性不足。這也可能是由于歷史偏見造成的（歷史數據中的代表性不足），例如歷史偏見往往為女性通常扮演家庭主婦或設計師等角色，而相比之下，男性則更多地占據高級職位。
• 算法偏差：這是由于算法本身的固有假設和設計選擇造成的。例如，如果在訓練過程中賦予某個特征更大的權重，可能會導致預測有偏差。例如，貸款審批系統優先考慮來自某些地點或種族的申請者。

偏差緩解技術

• 公平感知算法：開發算法以確保微調模型在不同的人口群體中做出公平的決策。這些算法結合了公平約束，例如機會均等，即模型在所有人口統計群體中具有相同的真陽性，或概率均等，即該模型在所有群體中具有相同的假陽性率和假陰性率。這通過平衡預測來避免任何特定群體處于不利地位，從而確保結果的公平性。
• 偏見檢測：定期分析訓練數據和模型預測，以識別基于種族、性別或年齡等人口統計屬性的偏見，并盡早解決潛在的偏見來源。
• 數據增強：增強訓練數據以提高多樣性和代表性，特別是對于代表性不足的群體，確保模型在更廣泛的場景中得到很好的推廣。
• 去偏技術：它包括重新加權、內處理和后處理等方法。重新加權平衡了模型的重點指標，并通過給予代表性不足的例子更多的權重來減少偏見。內處理在訓練過程中應用去偏策略來減少偏差。后處理在訓練后修改模型預測以符合公平標準。

結論

針對特定領域和其他目的對LLM進行微調，如今已經成為企業尋求利用LLM為業務和特定領域的數據集帶來好處的一種趨勢。微調不僅提高了自定義任務的性能，也是一種具有成本效益的解決方案。

通過選擇正確的模型架構，確保高質量的數據；采用適當的方法，并致力于持續的評估和迭代，可以極大地提高微調模型的性能和可靠性。這些策略確保模型的高效執行，并符合道德標準和現實世界的要求。

在運行任何人工智能模型時，采用合適的硬件能夠帶來深遠的影響，尤其是在醫療和法律等關鍵應用中。這些任務依賴于精確的工作和高速的交付，因此需要專用的高性能計算硬件。這些行業機構無法使用基于云計算的LLM，因為這會對其客戶和患者的數據構成安全風險。
原文標題：5 Tips for Fine-Tuning LLMs，作者：Kevin Vu