數據時代的往事：打造人工智能家居

還記得數據發展的早期嗎？感覺更簡單，或許只是表面看起來簡單。企業主要想知道已經發生了什么。“發貨了多少件？”“上個月的銷售額是多少？”為了回答這些問題，我們構建了數字世界中第一個重要的解決方案：數據倉庫。

精心組織的圖書館（數據倉庫時代）

傳統的數據倉庫就像一個宏偉而精心組織的圖書館。來自運營系統（銷售、財務、庫存）的數據并非只是被堆放在那里。它們要經過一個稱為 ETL（提取、轉換、加載）的嚴格流程。數據經過清洗、標準化，并被構建成預定義的格式（模式），然后才被放置在特定的、有標簽的架子上。您確切地知道在哪里可以找到季度銷售數據，因為它們總是以相同的方式分類。

這個系統非常出色，因為它的目標就是提供可靠、一致的商業智能報告。決策者可以信賴這些數字（大多數情況下！）。但圖書館墻外的世界開始變得復雜起來。

我們不再只是處理整齊的行列。突然之間，網站點擊數據、電子郵件中非結構化的客戶反饋、機器的傳感器讀數、社交媒體流，甚至圖片和視頻都如潮水般涌來。我們原本井然有序的圖書館，原本是為固定的書籍而建，卻無法輕松應對這種混亂的涌入。試圖強行將一條推文或視頻腳本通過僵硬的 ETL 流程，就像試圖將瀑布擱置起來——緩慢、昂貴，而且通常無法完全容納。對復雜數據科學和機器學習探索的需求也使其僵硬的結構不堪重負。

一切皆可擺脫（數據湖的興起）

面對數據洪流和新的分析的需要，我們構建了一個截然不同的東西：數據湖。忘掉那些嚴格的擺放規則吧。數據湖被設想為一個龐大且經濟高效的存儲空間，通常使用 Hadoop HDFS 或云對象存儲（例如 Amazon S3 或 Azure Data Lake Storage）等技術。其理念發生了巨大轉變：“先獲取所有數據，然后再考慮如何使用。” 原始數據以其原生格式（結構化、半結構化、完全非結構化）直接加載（通常使用 ELT【提取、加載、轉換】方法）。結構是在讀取數據時應用的，而不是在寫入數據時應用的（讀取時模式）。

這提供了令人難以置信的靈活性和可擴展性。數據科學家終于可以訪問和探索全部原始信息。然而，這種自由是有代價的。缺乏強有力的組織和治理，許多數據湖最終演變成了可怕的“數據沼澤”。尋找可靠、高質量的數據變成了一場尋寶之旅。這個數據集干凈嗎？它值得信賴嗎？它在其他地方重復了嗎？性能可能會很差，而且缺乏事務保證（ACID 合規性，在數據庫中很常見），這使得構建可靠的鏈式數據管道（對于生產系統和值得信賴的 AI 至關重要）變得非常具有挑戰性。

數據湖屋（Lakehouse 模式）

我們需要找到一個更好的平衡點：既要擁有湖的規模和靈活性，又要擁有更接近數倉的可靠性和性能。這催生了Lakehouse的誕生。

其核心理念并非要取代經濟高效的湖存儲，而是在其基礎上構建智能和結構。Delta Lake、Apache Iceberg 和 Apache Hudi 等技術成為關鍵的推動因素。它們將類似數據庫的功能（ACID 事務、數據版本控制、模式實施和性能優化）直接引入到數據湖中的文件中。

Lakehouse 中一種流行的組織模式是Medallion 架構。它強制執行邏輯流程和質量進度：

青銅區：獲取的原始數據，基本未經修改——歷史檔案。

白銀區：數據經過清理、過濾、合并或標準化，更加可靠，更適用于分析和特征工程。

黃金區：數據經過聚合、功能設計和業務就緒，通常針對特定的 BI 儀表板或 ML 應用程序進行優化。

Lakehouse 代表著一次重大的飛躍。它提供了一個統一的平臺，能夠支持傳統的 BI 報告（通常來自 Gold 表）和許多數據科學/機器學習工作負載（通常利用 Silver 和 Gold 數據），所有這些都基于同一個底層存儲。它解決了原始數據湖的諸多問題。

然而，就在我們感到安心之時，人工智能的格局再次發生了翻天覆地的變化。強大的基礎模型、生成式人工智能（例如 ChatGPT、DeepSeek）、復雜的推薦系統以及自主人工智能代理概念的興起，帶來了新的、更嚴苛的要求。這些系統需要的不僅僅是干凈的批量數據；它們需要實時上下文、理解非結構化數據含義的專門方法，以及與整個機器學習生命周期的無縫集成。

人工智能時代的數據架構（現代數據平臺）

這就引出了我們對AI 時代現代數據平臺的需求。它并非必然要完全取代 Lakehouse 的基礎架構；通常，它是在 Lakehouse 基礎上的演進和整合。可以將其想象成將井井有條的 Lakehouse 工棚升級為一個先進的、互聯互通的車間，專門用于構建、部署和運行復雜的 AI 系統。

現代數據和人工智能平臺框架：Databricks

這個“現代”平臺有何不同？它集成了以下關鍵功能：

1.實時與流式集成：人工智能通常需要實時更新的數據。流式技術（例如 Apache Kafka、Pulsar，以及 Flink 或 Spark Streaming 等處理引擎）深度嵌入，可實現低延遲數據提取和處理，為分析模型和實時 AI 模型提供數據。

2.無縫 MLOps 集成：數據團隊和 ML 團隊之間的脫節是一個主要瓶頸。該平臺緊密集成了整個 ML 生命周期的工具：

特征存儲：用于精選的、版本化的 ML 特征的集中存儲庫，可以低延遲訪問模型訓練和實時推理，從而減少訓練服務偏差。

模型注冊表：對已部署的模型進行版本控制、管理和跟蹤。

實驗跟蹤：記錄參數、指標和代碼以實現可重復性。

部署和監控：將模型推入生產并持續監控其性能和偏差的管道。

3.對向量和矢量數據庫的原生支持：這對于現代人工智能至關重要。除了存儲文本或圖像之外，平臺還需要處理向量向量——意義的數學表示。平臺集成了專用的矢量數據庫（例如 Pinecone、Weaviate、Milvus 或現有數據庫中的功能），以實現高效的相似性搜索，并為 LLM 的檢索增強生成 (RAG)、語義搜索和高級推薦提供支持。

4.穩健的治理與可觀察性：隨著人工智能承擔起越來越關鍵的任務，信任至關重要。嵌入式數據質量檢查、沿襲追蹤（了解數據的來源和轉換方式）、訪問控制以及覆蓋整個平臺的全面監控（可觀察性）都至關重要。

5.可擴展性和成本效益：利用云原生設計、無服務器組件和自動擴展來有效處理 AI 工作負載經常突發的計算需求。

為什么這對人工智能代理很重要

自主人工智能代理旨在感知、推理和行動，嚴重依賴于這種現代基礎設施：

情境理解：他們需要即時訪問相關信息。這需要查詢結構化數據、利用實時數據流，以及至關重要的是，通過矢量數據庫使用 RAG 提取相關文檔或過往交互信息以獲取上下文。

一致的決策：他們從特征存儲訪問特征，確保用于實時決策的數據與用于訓練其底層模型的數據相匹配。

記憶與學習：該平臺作為他們的知識庫和長期記憶，記錄他們的行動和結果，并通過 MLOps 管道提供持續改進所需的反饋循環。

驅動人工智能引擎：多樣化數據源

這個現代化的平臺要能存儲多樣化的數據：事務數據庫（通常通過變更數據捕獲）、應用程序日志、用戶交互流、物聯網傳感器數據、非結構化文本、圖像、音頻、視頻、第三方 API、公共數據集，以及越來越多的用于處理邊緣情況或隱私問題的綜合生成的數據。

該平臺必須善于采集、處理、管理和轉換所有這些，將原始輸入轉化為可用于人工智能的燃料，包括那些重要的向量嵌入。

故事還在繼續……

我們數據架構的歷程反映了我們不斷發展的愿景。從數據倉庫的結構化報告，到早期數據湖的靈活混亂，再到湖屋的有序可靠性，我們一直在不斷適應。

當前的人工智能革命對實時數據、語義理解和集成操作有著獨特的需求，因此需要邁出下一步：構建現代數據平臺。它不再僅僅關乎單一技術，更在于構建一個集成、智能、可靠的生態系統。對于致力于真正駕馭人工智能力量的組織而言，構建這種先進的數據基礎正變得至關重要。