大模型競爭的核心，正從比拼數據規模，轉向比拼數據的使用效率和風險管理。

今天分享2025兩篇最新的論文，剛好把一賽道一次性講透：

1. 《A Survey on Efficient Large Language Model Training: From Data-centric Perspectives》
2. 《A Survey on Unlearning in Large Language Models》

一個講怎么“吃得更少但更好”，另一個講怎么“消化后還能吐掉有害的”，本質上都是數據管理的精細化。

1. 高效訓練：數據價值飛輪 5 大殺器

圖 1：數據價值飛輪——五大模塊形成閉環，越轉越高效

把數據高效 post-training 拆成 5 個互補模塊：

1.1 數據選擇：把“垃圾數據”攔在門外

數據選擇的4個分類

• LESS用低秩梯度相似度搜“高影響力”樣本，只訓 5 % 數據就能打平全量。
• Agent 策略：多模型投票，像“數據陪審團”一樣篩掉低質量樣本。

1.2 合成數據：GPT-4 當“數據印鈔機”

• Magpie：不給任何人工 prompt，讓 GPT-4 自己吐 instruction-response 對，98 % 可直接用于指令微調。
• HARMONIC：在醫療場景用 LLM 合成表格數據，API 成本 ↓ 70 %。

1.3 自進化生態：模型自己當“數據產品經理”

• Self-Rewarding：模型自己生成新指令 → 自己打分 → 再訓自己，三輪后 AlpacaEval 提升 6.7 %。
• LLM-as-a-Judge：讓 GPT-4 給答案打分的誤差 < 2 %，人類幾乎無法區分。

2. 機器遺忘：把“不該記住”的知識精準切除

2.1 遺忘三時段

提出全新 三時段分類法：

2.2 遺忘三層次

樣本級 vs 實體級忘卻示例

• 樣本級：刪除某段隱私文本（如“張三的地址”）。
• 實體級：刪除與“哈利·波特”有關的所有知識。
• 能力級：讓模型“忘記”如何生成惡意代碼。

2.3 評價指標全景

評估框架：數據+指標

https://arxiv.org/abs/2510.25817
https://arxiv.org/abs/2510.25117
https://github.com/chrisliu298/awesome-llm-unlearning

本文轉載自??PaperAgent??