只用3%的計算量、5%的成本取得SOTA，統治了1B-3B規模的開源大模型。

這一成果來自普林斯頓陳丹琦團隊，名為LLM-Shearing大模型剪枝法。

以羊駝LLaMA 2 7B為基礎，通過定向結構化剪枝得到1.3B和3B剪枝后的Sheared-LLama模型。

分別在下游任務評估上超越之前的同等規模模型。

一作夏夢舟表示，“比從頭開始預訓練劃算很多”。

論文中也給出了剪枝后的Sheared-LLaMA輸出示例，表示盡管規模只有1.3B和2.7B，也已經能生成連貫且內容豐富的回復。

相同的“扮演一個半導體行業分析師”任務，2.7B版本的回答結構上還要更清晰一些。

團隊表示雖然目前只用Llama 2 7B版做了剪枝實驗，但該方法可以擴展到其他模型架構，也能擴展到任意規模。

另外還有一個好處，剪枝后可自行選用優質的數據集繼續預訓練。

有開發者表示，6個月前還幾乎所有人都認為65B以下的模型沒有任何實際用處。

照這樣下去，我敢打賭1B-3B模型也能產生巨大價值，如果不是現在，也是不久以后。

把剪枝當做約束優化

LLM-Shearing，具體來說是一種定向結構化剪枝，將一個大模型剪枝到指定的目標結構。

之前的剪枝方法可能會導致模型性能下降，因為會刪除一些結構，影響表達能力。

新方法將剪枝看成一種約束優化問題，學習剪枝掩碼矩陣來搜索與指定結構匹配的子網絡，同時以最大化性能為目標。

接下來對剪枝過的模型進行繼續預訓練，在一定程度上恢復剪枝造成的性能損失。

在這個階段，團隊發現剪枝過的模型與從頭訓練的模型對不同數據集的損失下降速率不一樣，產生數據使用效率低下的問題。

為此團隊提出了動態批量加載（Dynamic Batch Loading），根據模型在不同域數據上的損失下降速率動態調整每個域的數據所占比例，提高數據使用效率。

實驗發現，雖然剪枝模型與從頭訓練的同等規模模型相比，雖然一開始表現差得多，但繼續預訓練可以迅速提高，最終超越。

這表明從強大的基礎模型中剪枝，可以為繼續預訓練提供更好的初始化條件。

將持續更新，來一個剪一個

論文作者分別為普林斯頓博士生夏夢舟、高天宇，清華Zhiyuan Zeng，普林斯頓助理教授陳丹琦。

夏夢舟，本科畢業于復旦，碩士畢業于CMU。

高天宇，本科畢業于清華，是2019年清華特獎得主。

兩人都是陳丹琦的學生，陳丹琦現在為普林斯頓助理教授，普林斯頓 NLP小組的共同領導者。

最近在個人主頁中，陳丹琦更新了她的研究方向。

“這些日子主要被開發大模型吸引”，正在研究的主題包括：

• 檢索如何在下一代模型中發揮重要作用，提高真實性、適應性、可解釋性和可信度。
• 大模型的低成本訓練和部署，改進訓練方法、數據管理、模型壓縮和下游任務適應優化。
• 還對真正增進對當前大模型功能和局限性理解的工作感興趣，無論在經驗上還是理論上。

目前Sheared-Llama已在Hugging Face上提供。

團隊表示，開源庫還會保持更新。

更多大模型發布時，來一個剪一個，持續發布高性能的小模型。

One More Thing

不得不說，現在大模型實在是太卷了。

一作Mengzhou Xia剛剛發布一條更正，表示寫論文時還是SOTA，論文寫好就已經被最新的Stable-LM-3B超越了。

論文地址：https://arxiv.org/abs/2310.06694

Hugging Face：https://huggingface.co/princeton-nlp

項目主頁：https://xiamengzhou.github.io/sheared-llama/