借助智能體增強關鍵數據管理領域

隨著數據的復雜性和重要性不斷提升，企業亟需更智能、更敏捷且可擴展的方法來管理數據。由智能體驅動的數據管理員，代表了數據管理的下一階段演進——它融合了人類專業知識與AI的強大能力。

這些領域對于執行領域數據戰略至關重要，它們基于戰略主題和關鍵數據元素作為核心輸入。盡管工具不斷進步，但這四個領域依然需要數據管理員具備深厚的領域知識并投入大量人工操作。

目前我們已經看到大量專用智能體和大語言模型接管了原本由數據管理員執行的任務。本文展示了當下已經實現的能力，以及通過自主式AI進一步擴展的可能性，從而逐步邁向數據管理員的愿景。

我們特別提出了四類面向關鍵數據管理職責的自主式AI系統：

• 數據質量智能體
• 元數據管理智能體
• 主數據智能體
• 數據留存智能體

借助數據質量智能體提升數據的準確性、一致性與可靠性

數據質量是所有數字化和AI項目的核心支柱：如果缺乏準確、一致和可靠的數據，這些項目最終都會失敗。智能體能夠顯著自動化和增強數據管理員執行的高度手工化任務，同時提升數據資產在運營和分析場景下的管理與治理。

目前許多數據質量工具已利用AI實現以下基礎能力：

• 數據剖析與異常檢測：利用機器學習和統計規則掃描數據，識別離群點、缺失值或不一致。
• 自動修復：自動處理簡單問題(如格式修正、去重)，同時將復雜問題標記出來交由人工處理。
• 簡單規則檢測：識別基礎的數據質量規則，特別是有效性、完整性、唯一性和一致性等。例如，ChatGPT曾在某HR數據集上自動檢測并生成相關規則。

盡管現有智能體已相當強大，但它們大多集中在簡單、明確定義的重復性任務上。要實現我們對數據質量智能體的愿景(作為數據管理員的組成部分)，則需要跨智能體的編排與反饋能力，能夠進行預測、監聽、告警，甚至自動糾正。

因此，數據質量智能體必須能夠結合并協同多個更復雜的智能體，真正增強人類數據管理員的能力。

應用場景示例：假設一家金融機構部署數據質量智能體來提升客戶數據的管理水平。在該場景中，數據質量智能體可執行以下任務：

• 掃描來自不同渠道的大規模客戶數據(包括CRM系統的結構化數據，以及郵件或客戶交互中的非結構化數據)，識別模式、關系和異常。
• 聚類并分組相似的數據異常(如相同類型的地址錯誤或重復客戶記錄)，并進行自動糾正。
• 借助元數據血緣、日志關聯和流程挖掘進行更復雜的數據質量根因分析，發現潛在流程問題。
• 將發現的根因推送給其他智能體，以更新血緣、調整數據契約或優化流程。
• 根據自然語言輸入幫助創建復雜的業務規則，其他智能體可進一步將這些規則轉化為特定系統或平臺上的代碼、測試或策略。
• 監控并生成工單和報告，記錄數據質量問題，觸發相關修復行動。

借助元數據管理智能體提供上下文與語義

元數據為數據提供語境和含義，這是用戶能夠有效發現、理解和利用信息的關鍵。與數據質量工具類似，現有許多元數據管理工具已利用AI在以下方面發揮作用：

• 元數據提取：自動識別新數據源的模式并抽取技術元數據。
• 持續目錄更新：為數據目錄自動填充和更新條目，并利用自然語言處理豐富非結構化數據的描述。
• 自動血緣拼接：整合并校正來自多個系統的碎片化數據血緣信息。
• 數據敏感度分類：根據數據內容和上下文自動識別并分類敏感數據(如PII、PHI)，并應用相應的安全策略。

在數據管理員的框架下，一個更全面的元數據管理智能體應能整合并編排這些專用智能體，幫助人類數據管理員為其領域建立并持續維護數據字典和元數據存儲庫。

為了提供有意義的元數據，元數據管理智能體需要熟悉內部詞匯和術語表，能夠不斷學習不同領域的定義和豐富規則，并在其他領域中主動推薦。這一點對于處理越來越多的非結構化數據源尤為重要，例如文檔、郵件和報告，這些數據源也在不斷被用于訓練LLM和GenAI應用。

應用場景示例：假設一家大型電商公司擁有海量客戶數據。在該場景中，元數據管理智能體可執行以下任務：

• 自動發現新的數據源，提取技術元數據，推斷數據模式，并將其與公司特定業務詞匯和術語表中的業務術語關聯。
• 具備自愈能力：自動檢測、診斷并修復元數據漂移問題，如血緣斷裂、標簽缺失或策略違規。
• 提升數據可發現性和可用性：將元數據圖轉化為業務用戶能夠理解的自然語言描述。

利用主數據智能體管理關鍵數據要素的全生命周期

作為企業最核心、最關鍵的業務數據對象，主數據幾乎是所有數據管理員工作的重點。如今的MDM(Master Data Management，主數據管理)工具，正越來越多地在整個數據生命周期中嵌入AI能力，用于：

• 數據創建與豐富：填補缺失值，或在輸入有限信息的情況下生成初始記錄(例如，從產品規格自動生成產品描述)。AI能夠識別已有模式，推斷可能值，或從外部知識庫獲取標準描述。
• 智能匹配與去重：識別潛在的重復記錄或關聯關系，在部分場景下還能在人工監督下實現自動合并。
• 跨多個源系統的數據標準化與集成：統一不同來源的數據，并標準化數據架構(如TAMR)。

在數據管理員框架下，主數據智能體旨在讓關鍵數據要素(CDE)的全生命周期管理更加自動化、高效和可靠。這包括通過多智能體的協同與編排，來管理所屬領域CDE的創建、讀取、更新和刪除(CRUD)過程。

然而，合規性檢查依然不可或缺，尤其是在處理敏感和關鍵業務主數據時。因此，最復雜、最關鍵的業務步驟仍需要依賴于人類專家的經驗和領域數據戰略所提供的上下文信息。

借助數據保留智能體確保合規性

數據保留已經成為數據管理員的重要職責，尤其是在企業面臨日益復雜的法律、監管和倫理要求時。為應對這些挑戰，許多現代數據管理工具——例如企業數據目錄(Collibra、Microsoft Purview、Informatica)和主數據管理工具——已經開始內置AI功能，以實現數據保留策略的自動化與優化：

• 自動識別受保留規則約束的數據：通過分析元數據、數據分類和業務上下文，識別符合特定保留要求的數據(如PII、合同、財務記錄)。
• 策略分配與執行：在數據達到保留期時，自動觸發刪除、匿名化或歸檔操作。

在數據管理員框架中，數據保留智能體會與元數據管理智能體和主數據智能體緊密協作，讀取元數據，并觸發專門的智能體執行刪除、匿名化或歸檔操作。它不僅僅是執行已有的數據保留策略，還能基于數據使用模式，主動優化現有的保留政策與流程。

應用場景示例：醫療行業

在醫療領域，數據保留智能體可以幫助人類數據管理員遵循HIPAA等合規要求，執行如下任務：

• 基于內容和元數據自動識別病人病歷，并按照敏感度進行分類(如精神健康記錄、藥物濫用記錄)。
• 根據監管要求強制執行保留策略，例如在特定期限后自動歸檔病歷，并在不再需要時安全刪除。
• 監控數據訪問，識別潛在的HIPAA違規行為，并及時提醒合規官進行調查。
• 優化數據保留策略，預測數據何時會失效，并自動將其轉移到歸檔存儲，從而釋放主存儲空間。

通過自動化這些任務，智能體能夠幫助醫療機構降低合規風險、提升數據安全，并釋放寶貴的IT資源。

結論

智能體正在重塑關鍵的數據管理任務，尤其是在數據質量、元數據管理、主數據流程和數據保留方面。數據管理員的價值在于其作為一個多智能體系統，能夠多大程度上學習和適應企業的數據環境、接受了多少關于數據生態的訓練與信息輸入，以及它如何處理企業內部遇到的各種數據管理問題——無論是來自領域數據戰略、問題與事件管理系統，還是內部審計報告。

隨著時間推移，數據管理員將逐步理解企業面臨的風險，并確保相關智能體被部署以保護和防御企業資產。需要注意的是，完全自主、通用型的跨企業復雜數據管理智能體仍在發展中，目前大多數企業在關鍵決策上依然采取“人機協同”的方式。