在一個看似常規的生物實驗室里，科學家在 XR 智能眼鏡的指導下配制溶液，鏡片實時浮現提示：“干細胞培養已完成，請取樣。” 這時，機器人自動接管了他手中的試管，啟動渦旋混合器進行混合。當科學家取回細胞，視野中已同步 CRISPR 基因編輯的下一步流程。

這一切的幕后總指揮，正是具備實驗室場景 “世界模型” 的 AI 協研科學家 ——LabOS，它如同一位洞察全場的指揮家，以多模態數據為樂譜，精準指揮著多智能體、人類科學家與實驗機器人。在這個深度融合的實驗生態中，三者不再各自為戰，而是共同奏響高效、可復現并持續進化的科學發現交響曲。

這一顛覆性的實驗室人機協作場景，正是來自于英偉達 CEO 黃仁勛在 10 月 29 日的華盛頓 GTC 大會上親自展示的突破性研究。由美國斯坦福大學叢樂教授與普林斯頓大學王夢迪教授團隊聯合英偉達，正式發布了一個名為 LabOS 的智能平臺系統，全球首個融合 AI 與 XR（擴展現實）的 Co-Scientist (協研科學家)。

• LabOS 網站：https://ai4labos.com
• 論文鏈接：https://arxiv.org/abs/2510.14861

LabOS 的突破性在于，它首次將多模態感知、自我進化智能體與擴展現實（XR）技術融為一體，把干實驗的 AI 計算推理與濕實驗的實時人機協同操作無縫銜接，構建出一個從假說生成到實驗驗證的端到端閉環。這不僅為科學研究打造了一個動態演進的 “世界模型”，更正式開啟了人類與機器智能協同進化的科學發現新紀元。

斯坦福大學叢樂教授表示：“借助與英偉達合作達成的這項突破，我們可以將過去需要數年才能完成的工作縮短到數周，將原本耗資數百萬美元的研究降至幾千美元，將培訓頂尖科研人才的周期從幾個月降至幾天。我們非常激動能與 NVIDIA 緊密合作，展示這項成果。更令人興奮的是，這僅僅是開始，隨著自主化科研實驗室的興起，這一創新不僅在改變生活，更將以更快的速度、更低的成本來拯救生命！”

圖 1：LabOS 系統架構，融合了干實驗的自我進化 AI 智能體與濕實驗的 XR + 機器人的人機交互，實現端到端的科學發現

1. 從計算推理到物理協作：AI 實驗室的具身進化

以往的科學 AI，無論是 AlphaFold 還是 Deep Research，大多在純數字世界中運行。它們是天生的 “理論家”，但無法觸及真實的物理實驗。實驗室的 “最后一步” 依然高度依賴科學家的手工操作與隱性經驗，這成為科研效率與可復現性的瓶頸。

LabOS 的突破，正是為 AI 構建了一個能夠進入真實實驗室的具身系統。它將抽象智能與物理操作融為一體，構建出一個具備 “腦?眼?手” 協同能力的 AI 協研科學家：

• 會思考的 “腦”：自我進化的 AI 智能體。基于此前的研究 STELLA 框架，LabOS 包含規劃、開發、評審與工具創建四大智能體。它們不僅能分解科研任務、編寫分析代碼，更能通過 “工具海洋” 模塊，從海量文獻和數據中自主創建新工具，實現推理能力的持續進化。這種內在的自我進化能力，使其能夠通過 “推理時擴展” 解決新穎的科研任務。
• 能理解的 “眼”：專為實驗室打造的視覺語言模型。團隊收集了超過 200 段第一視角的實驗視頻，構建了 LabSuperVision（LSV）基準。他們發現，即便是最強的通用大模型，在理解精細實驗操作上也表現不佳。為此，他們訓練了專用的 LabOS-VLM，使其在錯誤檢測等任務上準確率遠高于通用模型。
• 可協作的 “手”：實時人 - 機器人一體化的實驗執行系統。研究人員佩戴輕量 AR 眼鏡進行實驗，LabOS 每 5-10 秒對視頻流進行一次分析，實時提供步驟指導、錯誤告警和操作建議，并協同調度 LabOS Robot 機器人參與實驗操作。所有交互都通過 XR 界面以手勢和語音完成，確保在無菌環境下的流暢人機協作。

圖 2：物理實驗室場景的 4D 重構，LabOS 通過 XR 眼鏡實現人 - 機器人一體化的實時協作

2. 世界模型如何理解實驗室？

實驗室環境的復雜性對 AI 的視覺理解提出了極高要求。為評估 AI 模型的實驗室感知與推理能力，團隊構建了 LabSuperVision（LSV）基準 —— 包含 200 多個由研究人員佩戴攝像頭錄制第一人稱視角的實驗視頻會話，并由專家標注操作步驟、錯誤類型及關鍵參數。結果令人意外，當前領先的 AI 模型在此基準上表現不佳：Gemini、GPT-4o 等在協議對齊與錯誤識別任務中得分僅 2-3 分（滿分 5 分），遠未達到實驗室應用標準。

為解決這一瓶頸，團隊通過結合公開實驗視頻、內部錄制數據和專家標注，對專注于實驗室場景的視覺語言模型（VLM）進行了后訓練。得到的 LabOS-VLM 能夠解碼 XR 眼鏡的視覺輸入，并將視覺嵌入與語言模型對齊，實現對實驗室場景的解讀與推理。經監督微調與強化學習優化后，該模型在科學環境中展現出顯著提升的視覺推理能力 —— 例如在細胞轉染實驗中，可實時識別實驗員沒有按照實驗的標準操作程序（SOP）操作而產生的錯誤，并生成步驟指導。其 235B 參數版本在錯誤檢測準確率突破 90%，遠超其他通用模型。

同時，為進一步提升系統對實驗室物理空間的理解，LabOS 為 AI 構建了一個具備時間感知與語義理解的三維實驗室環境。在這個環境中，AI 不僅能識別實驗室中的每個器皿、設備與樣品，更能理解它們在實驗室場景下的語義關系與時間演化，知道實驗正在進行哪一步、哪些操作已完成、哪些反應仍在持續、哪一步出了什么問題等等。這套高精度的世界模型，也構成了 LabOS Robot 機器人在實驗室中自主執行各種實驗任務的空間認知基礎。

這一從數據構建、模型訓練到實時交互的完整技術路徑，使 LabOS 系統具備科學視覺推理能力，成功構建了 AI、人類與機器人在真實實驗場景中的高效協同閉環。

圖 3：從 LSV 基準測試數據構建到 LabOS-VLM 模型訓練，在實驗室場景中實現實時人機交互

3. 人機協作的三大實證：從靶點發現到技能傳承

LabOS 的論文通過三個前沿生物醫學研究案例，展示了 LabOS 作為協作科學家的強大功能：

• 自主發現癌癥免疫治療新靶點

癌癥免疫學的關鍵挑戰在于識別介導腫瘤免疫逃逸的關鍵基因。傳統篩選方法受限于通量且依賴專家經驗分析。LabOS 在此展現了其 “干實驗 - 臨床分析 - 濕實驗” 全流程研究能力：系統首先通過 CRISPR 激活篩選技術，在黑色素瘤細胞中自主識別并迭代優化 NK 細胞殺傷抵抗的候選基因 CEACAM6；隨后利用癌癥基因組圖譜（TCGA）數據進行生存分析，建立 CEACAM6 基因表達與患者預后的臨床相關性；最終通過濕實驗驗證，確認 CEACAM6 的激活顯著增強腫瘤對 NK 細胞的抵抗能力。這一從計算推理到實驗驗證的端到端閉環，體現了 LabOS 在靶點發現中的系統性研究能力。

圖 4：LabOS 在靶點發現中的應用

• 機制研究中的科學假說生成與驗證
  

在細胞融合這一基礎生物過程的機制研究中，LabOS 展現出強大的科學假說生成和驗證能力。LabOS 通過整合通路富集分析、互作先驗與功能性證據，自主將 ITSN1 提名為核心調控基因。隨后，研究團隊通過 CRISPR 干擾技術，在 U2OS 細胞模型中進行細胞融合的功能性驗證。定量成像與細胞實驗結果顯示，ITSN1 的敲低確實顯著抑制了細胞融合過程。這一從 AI 生成的科學假說到濕實驗驗證的完整閉環，充分體現了 LabOS 作為協科學家在推動機制發現層面的獨特價值。

圖 5：LabOS 在機理研究中的應用

• 干細胞工程的技能傳承

復雜濕實驗的可復現性長期受困于難以言傳的隱性知識與操作偏差。LabOS 通過 XR 智能眼鏡與視覺推理，在干細胞 CRISPR 基因編輯等復雜實驗中實現實時指導與操作捕捉，并能自動記錄專家實驗，形成標準化數字流程，最終作為 AI 導師助力新手快速掌握關鍵技術，顯著提升實驗復現性與技能傳承效率。

圖 6：LabOS 在干細胞研究中的應用

4. 未來：走向自主科學發現的 “北極星”

LabOS 的誕生，標志著科學發現范式的根本性躍遷。叢樂教授和王夢迪教授在闡述其愿景時強調，LabOS 旨在 “Scale Science with AI Together”—— 與 AI 共同拓展科學的邊界。

科學探索長期受限于人類認知的速度與實驗操作的精度，傳統實驗室如同孤島，依賴難以復現的 “手藝” 與無法規模化的個人經驗。LabOS 正在打破這一桎梏：它讓 AI 和未來的機器人真正 “走進” 實驗室，理解并參與每一個實驗環節，成為與人類科學家并肩工作的協作者。無論成功或失敗，每一次實驗都成為這位 AI Scientist 的成長養分，推動其持續進化。這種人類與機器智能協同進化的科研生態系統，將從根本上加速科學發現的進程。

作者團隊介紹

叢樂 (Le Cong)，斯坦福大學醫學院病理學系和遺傳學系教授。他被公認為是 CRISPR 基因編輯領域的奠基人之一。早在哈佛大學攻讀博士學位期間，叢樂在導師張鋒（Feng Zhang）和喬治?丘奇（George Church）的指導下，作為第一作者在 Science, Cell, Nature 雜志上發表了數篇標志性論文，首次證實 CRISPR/Cas9 系統可以在哺乳動物和人類細胞中實現基因編輯，為這一革命性技術的后續應用奠定了基石。之后在 Aviv Regev 教授指導下，轉向單細胞基因組學方向，之后在斯坦福建立獨立實驗室，發布了一系列將機器學習，AI 及生物醫學結合的新技術，橫跨基因編輯，細胞追蹤，免疫靶點發現等多個方向。近年來致力于通過建立 “AI 科學家” 加速生物醫學，發布了 RNAGenesis 基座模型，CRISPR-GPT 智能體，和 LabOS 等一系列工作 —— 將 AI 智能體，XR 眼鏡，Robotics 自動化結合。

王夢迪 (Mengdi Wang) 教授，普林斯頓大學人工智能創新中心主任、普林斯頓大學電子與計算機工程系教授，此前她 14 歲考取清華自動化系，18 歲進入麻省理工學院 (MIT) 攻讀計算機系博士，師從美國國家工程院院士 Dimitri P.Bertsekas，博士畢業后一年進入普林斯頓任教并擔任博士生導師，成為普林斯頓最年輕終身教授。

本工作由斯坦福大學叢樂教授，普林斯頓大學王夢迪教授領銜，普林斯頓大學張載熙博士、斯坦福大學 David Smerkous、斯坦福大學王曉童博士、尹笛博士等為第一作者。