1052篇文獻(xiàn)！上海AI Lab發(fā)布科學(xué)LLM綜述：從數(shù)據(jù)基礎(chǔ)到Agent前沿
通用大語言模型（LLM）在科學(xué)場景科學(xué)大語言模型（Sci-LLMs） “水土不服”——數(shù)據(jù)異構(gòu)、跨尺度、強(qiáng)不確定性。
上海AI Lab主導(dǎo)，25家研究機(jī)構(gòu)共同參入，幾十位研究人員首次系統(tǒng)梳理 270+ 訓(xùn)練集、190+ 評測集，提出“科學(xué)數(shù)據(jù)分層框架”與“智能體閉環(huán)科研”新范式。
按六大學(xué)科分類的著名科學(xué)大語言模型（Sci-LLMs）時(shí)間線概覽，涵蓋 2019 年至 2025 年初。
科學(xué)數(shù)據(jù)統(tǒng)一分類法
層級 | 示例 | 對 LLM 的挑戰(zhàn) |
事實(shí)層 | 光譜曲線、測序讀長 | 高噪聲、單位不統(tǒng)一 |
理論層 | 薛定諤方程、周期表 | 符號化推理，需保證數(shù)學(xué)一致性 |
方法層 | 實(shí)驗(yàn)協(xié)議、代碼腳本 | 步驟可執(zhí)行、可復(fù)現(xiàn) |
仿真層 | 分子動力學(xué)軌跡 | 跨尺度時(shí)序建模 |
洞察層 | 諾獎級假設(shè) | 需跨領(lǐng)域類比與創(chuàng)造性 |
Fig-3 六大學(xué)科數(shù)據(jù)模態(tài)詞云：文本、符號、圖像、時(shí)間序列、多組學(xué)、結(jié)構(gòu)化表格
表 II 給出 9 種數(shù)據(jù)源、8 種數(shù)據(jù)類型的精確定義，可直接拿來寫數(shù)據(jù)管理計(jì)劃。
模型：演進(jìn)四部曲
Fig-2 四代范式：Transfer Learning → Scaling → Instruction → Agentic
階段 | 代表模型 | 關(guān)鍵突破 |
Transfer | SciBERT | 領(lǐng)域繼續(xù)預(yù)訓(xùn)練，GLUE-style 提升 3-5% |
Scaling | Galactica-120B | 科學(xué)文本+公式+代碼混合，參數(shù)量破百億 |
Instruction | SciGLM / HuatuoGPT-II | 百萬級指令+RLHF，首次在 USMLE 上超人類 |
Agentic | ChemCrow / Coscientist | 閉環(huán)實(shí)驗(yàn)：LLM→API→機(jī)器人→結(jié)果→再訓(xùn)練 |
數(shù)據(jù)：270 數(shù)據(jù)集全景
Fig-19 預(yù)訓(xùn)練數(shù)據(jù)模態(tài)分布：學(xué)術(shù)文本 46% vs 實(shí)驗(yàn)原始信號 <3%
1 預(yù)訓(xùn)練“重災(zāi)區(qū)”
- 物理：90% 為理想仿真（Illustris、Boltshoi），真實(shí) LIGO 波形不足 1 TB。
- 化學(xué)：SMILES 字符串高達(dá) 2.3 B，但 3D 坐標(biāo)+光譜配對 < 0.1 B。
- 地球科學(xué)：MODIS、ERA5 影像多，卻缺少“像素級語義標(biāo)注”。
2 后訓(xùn)練“新趨勢”
- Instruction-Tuning：從問答對→帶 CoT 的推理鏈（Nemotron-Science 2.7 M）。
- 多模態(tài) VQA：醫(yī)學(xué)影像報(bào)告生成、遙感變化檢測，GPT-4V 自動標(biāo)注占比 > 80%。
表 IV 匯總 150+ 數(shù)據(jù)集大小、來源、自動標(biāo)注工具，一鍵篩選可用資源。
評估：從“答題”到“開實(shí)驗(yàn)室”
Fig-23 三大基準(zhǔn)難度對比：MMLU-Pro 80%↑ vs HLE 5%↓
新基準(zhǔn) | 任務(wù)形式 | 通過率 | 核心難點(diǎn) |
ScienceAgentBench | 102 真實(shí)論文復(fù)現(xiàn) | 33% | 需調(diào)用 10+ 工具、寫代碼、調(diào)參數(shù) |
HLE (Humanity’s Last Exam) | 諾獎級問答 | 2–10% | 谷歌-proof，需多步推理+計(jì)算 |
MultiAgentBench | 多智能體協(xié)作 | 42% | 角色分工、沖突仲裁、共享記憶 |
數(shù)據(jù)“暗面”：三大系統(tǒng)性缺陷
Fig-27 數(shù)據(jù)生產(chǎn)-審核流水線：缺乏可追溯、實(shí)時(shí)更新、AI-Ready 標(biāo)準(zhǔn)
- Traceability Crisis：70% 倉庫無版本鏈，實(shí)驗(yàn)條件、校準(zhǔn)參數(shù)丟失。
- Data Latency：PubMed 平均 8 個(gè)月滯后，預(yù)印本缺少結(jié)構(gòu)化 API。
- AI-Readiness Gap：原始 LIGO 文件需 7 步腳本才能變成 token，重復(fù)勞動占研究 30% 時(shí)間。
未來：三步走向“科學(xué)家智能體”
Fig-28 三階段演化：數(shù)據(jù)基礎(chǔ)設(shè)施→科學(xué)能力涌現(xiàn)→自主發(fā)現(xiàn)閉環(huán)
階段 | 關(guān)鍵里程碑 | 技術(shù)抓手 |
I 數(shù)據(jù) OS | 統(tǒng)一 MCP (Model Context Protocol) 接口 | 工具即插即用、權(quán)限沙箱 |
II 智能體 | Self-Evolving Agent | 實(shí)驗(yàn)-反饋-更新 Prompt & Tool |
III 閉環(huán)生態(tài) | 機(jī)器生成數(shù)據(jù)反哺訓(xùn)練 | 區(qū)塊鏈溯源+自動質(zhì)量評分 |
https://arxiv.org/pdf/2508.21148v1
A Survey of Scientific Large Language Models: From Data Foun本文轉(zhuǎn)載自??PaperAgent??
