在過(guò)去的十年里，我們見(jiàn)證了大型語(yǔ)言模型席卷全球，從寫(xiě)作助手到代碼生成器，無(wú)所不能。然而，即使最強(qiáng)大的模型依然有一個(gè)根本性的弱點(diǎn)：它們不記得你。

針對(duì)這一現(xiàn)狀，加利福尼亞大學(xué)圣迭戈分校（UCSD） 博士生 Yu Wang 和紐約大學(xué)教授陳溪（Xi Chen）聯(lián)合推出并開(kāi)源了 MIRIX —— 全球首個(gè)真正意義上的多模態(tài)、多智能體 AI 記憶系統(tǒng)。

• 論文標(biāo)題：MIRIX: Multi-Agent Memory System for LLM-Based Agents
• 論文鏈接：https://arxiv.org/abs/2507.07957
• 官方網(wǎng)站：https://mirix.io/
• 開(kāi)源倉(cāng)庫(kù)：https://github.com/Mirix-AI/MIRIX

MIRIX 的表現(xiàn)非常亮眼！在 ScreenshotVQA 這一需要深度多模態(tài)理解的挑戰(zhàn)性基準(zhǔn)上，MIRIX 的準(zhǔn)確率比傳統(tǒng) RAG 方法高出 35%，存儲(chǔ)開(kāi)銷(xiāo)降低 99.9%，與長(zhǎng)文本方法相比超出 410%，開(kāi)銷(xiāo)降低 93.3%。在 LOCOMO 長(zhǎng)對(duì)話任務(wù)中，MIRIX 以 85.4% 的成績(jī)顯著超越所有現(xiàn)有基線，樹(shù)立了新的性能標(biāo)桿。

不僅如此，該團(tuán)隊(duì)還上線了一款 Mac 端應(yīng)用產(chǎn)品。通過(guò)這款開(kāi)箱即用的應(yīng)用程序，任何人都可以讓 AI 看見(jiàn)你所看、理解你所做，并將一切轉(zhuǎn)化為持久的電子記憶。

一套徹底不同的范式

回顧過(guò)去三年 AI 進(jìn)化史，我們可以看到：

• 大模型推理極限：參數(shù)暴增 × 算力飆升；
• 向量檢索應(yīng)急：RAG 拼接碎片；
• 「短期記憶」上線：對(duì)話歷史有限回看。

但所有這些，都不是「心智系統(tǒng)」。MIRIX 首先做到了：

1. 支持多模態(tài)輸入：不僅能理解文本，還能在高分辨率屏幕截圖、對(duì)話日志等多源數(shù)據(jù)中構(gòu)建全局記憶。
2. 擁有六大類(lèi)人記憶系統(tǒng)：每個(gè)記憶模塊都有專(zhuān)屬的數(shù)據(jù)結(jié)構(gòu)、生命周期管理策略，和獨(dú)立的檢索路由。
3. 內(nèi)置多智能體協(xié)作：通過(guò)一個(gè) Meta Memory Manager 進(jìn)行總控，六個(gè)記憶 Agent 并行更新、分工檢索，搭配對(duì)話 Agent 統(tǒng)一交互。
4. 主動(dòng)話題生成與分層檢索：不同于「先查再答」，MIRIX 會(huì)先分析用戶意圖，自動(dòng)生成 topic embeddings，再匹配合適的記憶類(lèi)型進(jìn)行多層檢索。
5. 產(chǎn)品化落地：該團(tuán)隊(duì)開(kāi)發(fā)了一款個(gè)人助理的應(yīng)用，目前已經(jīng)在 Mac 端上線，可在其官方網(wǎng)站上下載體驗(yàn)。

它不再是把知識(shí)塞進(jìn)「嵌入空間」，而是用結(jié)構(gòu)化、多通道、可演化的方式構(gòu)建認(rèn)知基底。

為什么說(shuō)它是 AI「心智雛形」？

MIRIX 擁有六類(lèi)核心記憶，能夠細(xì)分認(rèn)知角色：

• 核心記憶（Core Memory）：存儲(chǔ) AI 的「人格」與用戶長(zhǎng)期偏好：如對(duì)話風(fēng)格、偏好設(shè)定、身份信息。數(shù)據(jù)以永久 KV 對(duì)存在，優(yōu)先級(jí)最高，任何回答都自動(dòng)加載。
• 情景記憶（Episodic Memory）：類(lèi)似人類(lèi)的「事件日志」，帶有時(shí)間戳、事件類(lèi)型、主體、簡(jiǎn)述與詳情，可以追溯用戶所有歷史操作。
• 語(yǔ)義記憶（Semantic Memory）：儲(chǔ)存概念、事實(shí)和社交圖譜。每條記錄包含「名稱(chēng)、定義、詳細(xì)說(shuō)明、來(lái)源」四元組。支持多跳推理與知識(shí)組合。
•  程序記憶（Procedural Memory）：以分步工作流形式保存任務(wù)：如「如何填寫(xiě)報(bào)銷(xiāo)表」、「如何創(chuàng)建演示文檔」。每個(gè)條目是 JSON 結(jié)構(gòu)的多步操作。
• 資源記憶（Resource Memory）：用于保存完整文件或截取片段，支持跨任務(wù)上下文引用。示例：用戶上傳的合同、會(huì)議記錄、網(wǎng)頁(yè)快照。
• 知識(shí)金庫(kù)（Knowledge Vault）：保存敏感信息，如密碼、API Key、身份證號(hào)碼，配有多級(jí)訪問(wèn)控制和加密機(jī)制。

以往 RAG 只能「一口氣查一堆」，MIRIX 可以先理解需求，再?zèng)Q定在哪種記憶中搜索，再組合答案。換句話說(shuō)：它會(huì)思考「我要回憶什么」，而不是機(jī)械索引。

多智能體工作流

Multi-Agent Workflow

在面向長(zhǎng)期記憶的現(xiàn)代 AI 系統(tǒng)中，模型必須能夠處理高度動(dòng)態(tài)且異構(gòu)的用戶交互輸入，這些輸入既包括即時(shí)對(duì)話消息、結(jié)構(gòu)化任務(wù)指令，也包括大規(guī)模多模態(tài)信息，如屏幕截圖或文件。要在保證一致性、可擴(kuò)展性和高效檢索的前提下管理如此多樣化的數(shù)據(jù)，僅依賴單一的工作流是遠(yuǎn)遠(yuǎn)不夠的。

為此，該團(tuán)隊(duì)提出了一種模塊化多智能體架構(gòu)（multi-agent architecture），由若干專(zhuān)用組件在統(tǒng)一調(diào)度機(jī)制下協(xié)作完成輸入處理、記憶更新和信息檢索。整個(gè)系統(tǒng)包括：元記憶管理器（Meta Memory Manager）、記憶管理器（Memory Managers）以及對(duì)話智能體（Chat Agent）。

當(dāng)系統(tǒng)接收到新的輸入（如用戶提供的文本、推斷出的事件、上傳的文件）時(shí)，會(huì)按如下流程進(jìn)行處理：

1. 初步檢索：系統(tǒng)會(huì)先在現(xiàn)有記憶庫(kù)上執(zhí)行自動(dòng)搜索，以檢測(cè)是否存在與輸入內(nèi)容高度相似的記錄。此步驟有助于避免冗余存儲(chǔ)，并在必要時(shí)更新已存在條目。
2. 路由與分析：檢索出的相關(guān)信息與原始輸入內(nèi)容一同傳遞給元記憶管理器，由其解析內(nèi)容，提取元數(shù)據(jù)（如時(shí)間戳、來(lái)源類(lèi)型、相關(guān)性評(píng)分），并判斷哪些記憶組件需要更新。
3. 并行更新：元記憶管理器將輸入內(nèi)容分發(fā)給各個(gè)相關(guān)的記憶管理器。每個(gè)管理器獨(dú)立完成以下操作：（1）提取結(jié)構(gòu)化字段（例如摘要、詳情、事件參與方）（2）去重或合并相似記錄（3）更新索引和嵌入表示，供后續(xù)檢索使用
4. 完成確認(rèn)：當(dāng)所有相關(guān)記憶管理器完成更新后，它們將狀態(tài)反饋給元記憶管理器，系統(tǒng)再向外發(fā)送確認(rèn)，表明本次記憶更新已結(jié)束。

對(duì)話檢索流程

Chat Workflow

在交互式對(duì)話場(chǎng)景下，檢索流程主要分為以下步驟：

1. 粗檢索：當(dāng)接收到用戶查詢時(shí)，對(duì)話智能體首先會(huì)在所有六個(gè)記憶組件中執(zhí)行一次粗粒度檢索，返回高層級(jí)的摘要或元數(shù)據(jù)信息，用于判斷記憶分布。
2. 目標(biāo)檢索選擇：對(duì)話智能體基于粗檢索結(jié)果和查詢內(nèi)容進(jìn)行分析，例如：若問(wèn)題為操作性流程（如「如何提交報(bào)銷(xiāo)單？」），則聚焦程序記憶；若問(wèn)題為事實(shí)性回顧，則主要面向情景記憶或語(yǔ)義記憶。
3. 精細(xì)檢索：針對(duì)確定的目標(biāo)記憶組件，系統(tǒng)會(huì)使用更精準(zhǔn)的檢索策略，包括：基于嵌入向量的相似性搜索；BM25 文本相關(guān)性排序；關(guān)鍵字匹配。
4. 結(jié)果整合與答案生成：檢索結(jié)果會(huì)帶上來(lái)源標(biāo)簽（如 <episodic_memory>），與用戶問(wèn)題一同輸入模型生成提示（system prompt），由模型生成最終回答。
5. 交互式更新：如果用戶的查詢涉及記憶修改（如添加新信息或糾正歷史記錄），對(duì)話智能體會(huì)即時(shí)與對(duì)應(yīng)的記憶管理器進(jìn)行交互，完成更新操作。

這一流程確保了系統(tǒng)的回答不僅有一致性，也能根據(jù)最新知識(shí)動(dòng)態(tài)調(diào)整。

性能突破

碾壓 RAG Baseline 以及其他 memory 系統(tǒng)

在該團(tuán)隊(duì)新構(gòu)建的多模態(tài)極限任務(wù) ScreenshotVQA 里，MIRIX 存儲(chǔ)占用相比 RAG 降低 99.9%，然而精準(zhǔn)率比 RAG 高 35%；相比全上下文推理，存儲(chǔ)縮小 93.3%，準(zhǔn)確率提升 410%！

在 LOCOMO 多輪對(duì)話推理任務(wù)中，綜合準(zhǔn)確率達(dá)到 85.4%，遠(yuǎn)超一眾現(xiàn)有模型，包括 MemOS，Mem0 等；在多跳問(wèn)題勝過(guò)所有開(kāi)源基線。綜合性能幾乎接近全上下文模型（由于 gpt-4.1-mini 的上下文窗口為 1M，它的 LOCOMO 性能幾乎是上限）。

這不僅是「更好」

更是「完全不同」

用 MIRIX 團(tuán)隊(duì)的話說(shuō)：「檢索增強(qiáng)生成只是臨時(shí)補(bǔ)丁。真正的記憶，要讓 AI 在時(shí)間維度上成長(zhǎng)」。 這是大模型迭代的新周期：從「對(duì)話生成」走向「長(zhǎng)期記憶驅(qū)動(dòng)心智」。

此外，MIRIX 不只是論文，MIRIX 團(tuán)隊(duì)同步上線了桌面版?zhèn)€人助理應(yīng)用，可實(shí)現(xiàn)即時(shí)多模態(tài)數(shù)據(jù)采集，并將記憶進(jìn)行可視化樹(shù)狀記憶管理，并且將 memory 存于本地 SQLite 中保護(hù)隱私，即刻安裝，體驗(yàn) AI 首次「真正記住你」。