基于人工智能的以數據為中心的數據架構方法
本文簡要探討了如何在人工智能賦能下構建企業數據。文章強調了以整體視角看待人類思維和數據集成的重要性,并基于眾多實際企業解決方案,提出了一些簡單的關鍵領域考量。
即使您并非數據解決方案架構師,您仍然需要參與一個或多個架構領域,以構建集成數據架構。如果沒有良好的數據架構,您的數據部分就不太可能滿足服務級別的特性,例如數據互操作性、可擴展性或數據管理。
目錄
企業數據解決方案的范圍
數據架構中缺失的環節
敏捷 ESA 模型:與數據架構交織的關鍵領域
敏捷 ESA 模型:關鍵利益相關者群體
敏捷 ESA 模型:以數據為中心的關聯流
利用人工智能輔助的、基于 IT 服務的建模方法
小結

一、企業數據解決方案的范圍
本文重點探討企業數據架構(以下簡稱數據架構),它是企業解決方案架構 (ESA)的重點考量,它連接企業架構和解決方案架構,協調各種戰略方向和能力。與企業架構、軟件架構、云架構等相比,企業數據架構的討論通常較少,其作用也千差萬別。企業數據架構的整體視圖通常缺失或不夠清晰。
隨著人工智能的快速發展,我們可以從大量多維復雜數據中獲得更快、更好的洞察。然而,如果沒有清晰的 ESA 指導,人工智能將無法創建有意義的數據架構。單獨的企業架構和解決方案架構都無法提供這樣的指導。ESA 設置了正確的架構抽象級別,使企業業務與 IT 保持一致,以實現可實現的架構。在來自主要利益相關者群體的適當架構指導下,ESA 使人工智能能夠更好地理解企業系統背后的原理以及預期的運行方式。這種由人工智能輔助而非 LLM 驅動的 ESA 模型對于大多數企業解決方案來說是現實可行的。
ESA 是一種整體架構思維過程,通常用于敏捷方法,因此它幾乎是敏捷 ESA(A-ESA)的同義詞。它利用 AI 的力量在其建模框架內簡化復雜的 IT 架構。
二、數據架構中缺失的環節
在深入探討數據架構的集成模型之前,我們先快速回顧一下項目解決方案中的一些常見觀察。在許多情況下,數據架構僅關注企業解決方案的一部分,例如:
在企業架構中,數據架構充當藍圖、規劃工具和基礎架構構建塊。
在業務層面,數據架構是為了滿足業務需求并實現業務敏捷性。業務人員往往主要從業務能力甚至組織結構的角度來理解數據架構。
許多人從技術角度來理解數據架構,重點關注數據倉庫、數據結構、數據湖和數據網格等框架,以及 Apache Flink 和 Kafka 等中間件。因此,數據架構通常是技術解決方案(技術平臺或大數據流程)、軟件工程和數據管理的一部分。
小公司的資料架構師通常期望擁有從編程到網絡協議的廣泛技能,但解決方案可能不是大規模或復雜的。
人們常常忽略的是從企業解決方案架構角度構建的相互關聯的流程,而這些流程能夠解決整個企業的關鍵業務、用戶和系統問題。許多組織已經將重點放在業務架構、軟件架構和基礎設施/平臺架構上,但仍然缺乏可行的企業數據架構,這通常是由于缺乏整體的遠見、相關角色或人才,或缺乏認知。
三、敏捷 ESA 模型:與數據架構交織的關鍵領域
構建簡化復雜性的可視化數據架構模型。
那么,數據架構與企業解決方案架構在整體上是如何關聯的呢?根據實踐經驗,下圖表明數據架構與五個關鍵領域緊密相關。

圖:企業解決方案架構的關鍵領域
這一劃分為架構關注的關鍵領域以及 AI 輔助構建既能滿足解決方案需求又能滿足未來變化的整體模型提供了明確的指導。現在,讓我們簡要討論一下人類和人工智能所關注的各個領域。
1. 企業能力
人類對架構的關注點:反映戰略方向和數據策略(與其文化和環境相關)的高級信息和能力,以及這些信息和能力如何映射到關鍵 IT 服務,尤其是數據服務。
用例問題示例:哪些關鍵原則與業務和數據架構相符?與價值流和IT服務相關的功能有哪些?
人工智能探索示例:組織復雜性
2.案例場景
人類對架構的關注點:服務級別要求 (SLR) 涵蓋數據動態性、事務限制、可用性和合規性。
示例用例問題:社交技術參與系統的數據類型有哪些?典型的用戶交互有哪些(例如數據訪問頻率和并發性)?
人工智能探索示例:意圖復雜性
3. 解決方案背景
人類對架構的關注點:架構集成和治理、深厚的 ESA 專業知識或企業解決方案環境中良好協作的團隊合作。
示例用例問題:哪種架構風格更適合企業環境的數據使用和交易模式?如何通過執行特定的治理功能來確定數據治理(包括數據完整性、數據質量等)的優先級并實施?
人工智能探索示例:集成復雜性
4.功能服務
人類對架構的關注點:以數據服務為中心的應用程序的粒度、內聚性、耦合性和自包含性。
示例用例問題:在設計數據服務時,在可用性、一致性和分區容錯性方面做出了哪些權衡決策?如何實現數據服務間的通信或避免通信問題?
人工智能探索示例:交易復雜性
5. 運行環境
人類對架構的關注點:數據服務部署單元(基于服務級別質量屬性)需要從軟件分發和系統工程(內部部署或云環境)仔細考慮。
示例用例問題:數據服務和部署單元之間是否存在明確的映射,以滿足關鍵質量屬性要求,同時適應業務增長?在可用性、性能和安全性方面,數據熱點是什么?
人工智能探索示例:可擴展性復雜性
并非所有企業解決方案都對這五個方面給予同等重視,但幾乎每個企業系統都從這五個方面進行架構考量。即使您不構建自己的平臺,如果您擔心變更成本,也需要開發一個可視化數據架構模型,以簡化復雜性并展示您的企業解決方案的架構方式。
通過最初定義從業務到 IT 的整體企業解決方案的關鍵領域,人類引導人工智能構建數據配置文件,最終以正確的方式形成正確的模型。
提示:這五個領域可能存在差異。例如,如果特定人員負責執行測試、驗證或治理測量,則驗證可能是一個單獨的領域。在考慮真正的 DevOps 環境時,我們可以將功能部署領域和運營部署領域合并為一個解決方案系統領域。ESA 倡導敏捷且分階段的方法,因此可以進行細微調整以適應解決方案環境。
四、敏捷 ESA 模型:利益相關者的關鍵群體
通過關鍵利益相關者的觀點對企業解決方案達成共識。
關鍵領域模型反映了一種可行的數據架構,該架構考慮了企業解決方案的關鍵方面,包括企業需求、關鍵的解決方案關注點以及重要的解決方案設計。關鍵領域通過各領域利益相關者的協作相互關聯。
下圖顯示了每個領域所負責的典型利益相關者群體和關注點。例如,企業能力是組織和業務領導者更關注的問題。這五個利益相關者群體對于可行的企業解決方案而言不可或缺,代表了解決方案管理視角下的典型分工。每個人都擁有獨特的視角和技能。在大型企業環境中,任何個人(如果有的話)都不太可能在所有五個領域擁有完整的專業知識和權威。

圖:ESA 中的典型利益相關者群體
企業數據架構師或企業解決方案架構師在其中扮演著重要的角色,他們負責協調和關聯不同領域,以實現架構一致性,并最大限度地降低變更的長期成本。該角色通常由“設計權威”(由首席技術官、經驗豐富的數據架構師或組織敏捷的團隊領導)領導,以處理不同利益相關者群體之間潛在的沖突和分歧。高層管理人員的支持對于克服企業數據架構師可能面臨的挑戰至關重要。
許多數據專業人員在其職業生涯或參與大型企業解決方案項目時都身兼數職,他們的跨領域專業知識對于塑造企業數據架構至關重要。下表顯示了從數據專業人員的角度來看,這五個領域分別代表著不同的重點。

數據專業人員的角色和關注點
對于人工智能輔助系統,數據架構師尤其需要開發和完善一套超越傳統數據管理的新技能。這些關鍵技能包括:高級分析(包括預測建模和關聯分析)、深度學習(構建能夠從數據中學習的復雜解決方案模型)、大規模數據工程、人工智能偏見緩解、人工智能集成以及智能領域規范。
簡而言之,沒有人能夠完全掌控企業解決方案架構或企業數據架構。通過初始 ESA 研討會和迭代反饋循環,建立共同目標和一套通用符號,ESA 模型在連接各個環節、映射不同語言以達成共識方面發揮著關鍵作用。
人工智能擅長扮演通用角色或虛擬助手角色,不知疲倦地、反復地幫助詳細說明、分類、抽象、強調和比較每個關鍵群體中的關注點。
提示:實際上,許多組織都缺少 ESA 角色,解決方案架構師的職責僅限于提供解決方案,缺乏完整的企業視角,或者他們的企業架構與解決方案架構脫節。因此,如果沒有可實施的企業架構或企業解決方案架構,就更容易出現架構債務。
五、敏捷 ESA 模型:以數據為中心的關聯流
域之間的映射是ESA最有價值的部分。
下圖說明可行的企業解決方案架構涵蓋企業方向和解決方案架構,以數據中心映射方法清晰地呈現關聯流視圖。

圖:以數據中心為中心的架構映射
這些領域之間的關聯流程比每個領域各自的關注點更重要。例如,業務人員主要關注業務組件模型和信息價值,而不是數據在企業系統中的設計和操作方式。因此,這些流程成為集成數據架構的主要關注點。這些流程共同反映了用戶與系統、業務與系統以及系統之間的交互。
對于每個領域,信息或數據流反映在以下示例中:
企業能力示例:價值流和能力與 IT 服務的映射,重點關注數據服務。
案例場景示例:需求映射,根據數據源(來自用戶輸入和系統輸出)識別數據 SLR。
功能服務示例:解決方案上下文映射,問題空間以數據服務為中心 (超越數據對象或組件級建模),反映了架構良好的服務組合。
操作環境示例:部署包映射到 功能服務,重點關注數據服務,因為它們通常具有跨切關注點。
解決方案上下文示例:來自度量、架構模式、集成風格和解決方案概述(典型的企業解決方案演練)的信息流的集成映射。
數據架構決策只有考慮以下因素才會有效:
數據服務是每個信息流的關鍵映射元素。例如,企業能力的信息流包含通過價值流分析實現數據能力與數據服務的映射,并通過客戶旅程等與單車司機(SLR)的案例場景關聯起來。
數據服務必須與其相關的功能服務或包裝器一起考慮,包括技術服務(通常稱為應用程序邏輯服務)以及可能的 UI 服務。
在實踐中,這些流程是通過敏捷方法逐步構建的。當各領域的決策者以數據為中心的方法就信息流達成一致時,ESA 模型便開始成形。
對于數據關聯流,人工智能負責繁瑣且容易出錯的工作,而人類在確定流程映射的結構、關聯和引導方式方面發揮著關鍵作用。
提示:在敏捷 ESA 模型中,數據服務更多地基于 IT 服務或軟件,提供對數據的訪問和操作。它支持業務流程和功能,并解決以下問題:1) 與企業能力相關的案例場景需求映射;2) 給定數據服務的真實來源;3) 復合數據服務的通信和集成方法;以及 4) 由不同的敏捷 ESA 元素(例如通用服務、視圖框架等)表示的數據服務的抽象級別。順便說一句,數據服務將作為單獨的主題進行闡述。
六、利用人工智能輔助、基于 IT 服務的建模方法
ESA 是人工智能輔助的,而不是人工智能驅動的。
人工智能輔助敏捷 ESA 建模方法可通過以下用例普遍采用:
利用人工智能提示收集架構信息并澄清建模問題 [建模]
基于初始人工設計或逆向工程工作,使用定制的人工智能代理進行架構推理和分析[建模]
將建模工具與人工智能(例如人工智能圖表生成器或經過訓練的圖神經網絡 (GNN))相結合,以促進建筑模型渲染 [建模]
將人工智能功能融入企業解決方案架構[架構]
構建人工智能解決方案(或以人工智能為中心的框架、企業應用程序等)[架構]
這些用例中的任何一個,或者它們的組合,都適用于敏捷 ESA 建模。在這里,我們簡要討論一下從建模和架構角度提供的 AI 輔助,這兩者都將算法推理和繁瑣的工作轉移到 AI 代理或中間件上。
借助人工智能進行建模
人工智能的普及為許多企業解決方案賦予了強大的分析能力,涵蓋企業方向和業務洞察、案例場景模擬和分析、軟件建模和開發、架構模式識別、指標規范、預測分析以及比較權衡輔助等。總而言之,人工智能通過智能元數據管理和動態數據關聯,使復雜的數據結構和關系更加易于理解。
然而,人工智能可能會產生數據偏差。人工智能目前無法,將來也無法完全在上述五個領域之間映射信息,因為它們是獨立的實體,各自解決企業解決方案領域中的一組特定問題。將它們混雜在一起會使企業解決方案變得復雜,并使每組利益相關者都無法獲得清晰的架構圖。即使與人工智能協同工作,這些領域仍然需要人類的投入、專業知識和推理能力,才能做出明智的架構決策。畢竟,正是人類從多個維度決定了企業系統的運作方式。
敏捷 ESA 建模在人類思維與人工智能之間尋求平衡,利用 AI 輔助進行詳細分析和洞察,從而創建數據相關映射和適配級別的數據服務。Agile ESA 還利用 AI 驅動的重構工作,或指導 AI 驅動的治理功能與更詳細的解決方案系統設計相連接。需要注意的是,Agile ESA 元素(將在單獨的主題中詳細闡述)可以基于 AI 分析,使用一組最少的架構符號來具體化數據架構。
利用人工智能功能進行架構設計
當今的企業解決方案架構涵蓋眾多 AI 功能,包括工具、API、中間件、代理等。支持 AI 的解決方案架構可實現選擇性流程自動化、強化數據治理、更佳的互操作性、系統透明度、運營平臺彈性、AIOps 等等。這些功能涵蓋 ESA 的所有關鍵領域。
在企業解決方案環境中,AI 能力不僅包括創新型、AI 融合型或代理型應用程序和 RAG(檢索增強生成),還包括 AI 集成能力。遵循標準集成協議至關重要,例如模型上下文協議 (MCP),這是一個用于集成 AI 模型和外部數據源的開放標準,能夠實現跨不同系統的互操作性,就像 AI 應用程序的 USB-C 端口一樣。請記住:AI 的有效性取決于可行的集成數據架構。
數據與人工智能如同探戈般協同。數據驅動人工智能,人工智能則從數據中提供洞察。企業業務需要的既不是帶有偏見和粒度不合適的數據架構觀點,也不是碎片化的洞察。細致的框架采用和技術棧選擇應始終以清晰的數據架構模型為指導,并結合人工智能輔助的可行性評估和架構決策分析。人工智能驅動的企業數據架構仍是一個遙不可及的愿望。即使看似如此,人工智能仍然在企業數據架構中扮演著重要的角色。
需要注意的是,許多 AI 用戶、應用程序開發者和其他人員更注重應用,只關注 AI 企業解決方案的一部分。然而,對于認真對待 AI 平臺或企業環境的企業領導者、數據架構師或解決方案架構師來說,整體建模方法是必不可少的。
提示——敏捷企業架構 (Agile ESA) 中的人工智能輔助整體方法必須以簡潔性和重要性為基礎,并融合人工智能和人類智能。例如,企業能力空間應簡潔直觀地反映符合特定企業環境的 IT 戰略方向的本質。復雜或成熟的模型看似優雅,卻會使架構思考變得困難,最終達不到預期目的。
七、小結
如果沒有清晰的宏觀數據架構,您就會產生未來的債務。
傳統的企業架構建模復雜且實用性較差。它更有可能被人工智能取代,就像設計級建模一樣。ESA 代表了一種易于人類理解的架構,同時在后臺利用了 AI 輔助的企業解決方案的復雜關聯。在可預見的未來,AI 永遠無法取代 ESA,這也是一門權衡利弊的藝術。
數據架構對于企業解決方案架構至關重要,必須擁有一個集成模型來支持業務目標并適應不斷變化的需求。在敏捷企業解決方案架構 (ESA) 中,信息架構、數據架構和解決方案架構之間的區別變得模糊。一種整體而簡單的方法,將數據架構與業務功能、案例場景、解決方案上下文、功能架構和運營環境以及解決方案管理支持和治理技術相集成,可確保企業解決方案的成功。
提示:在對遺留企業進行服務化現代化之前,必須建立清晰的敏捷 ESA 模型,并使用最小可行遷移方法。急于追求一時興起的架構風格,很可能會失敗。
Agile ESA 不僅僅是一份企業架構規劃、一份治理文檔或一個以技術為中心的解決方案架構,它通過考量端到端的重要案例,成為一種可實現的架構,或是對現實企業解決方案中架構思維的證明。在 AI 賦能下,通過 Agile ESA 建模構建的集成數據架構有效地連接了業務目標和技術執行,從而提高了架構的可觀察性,降低了架構債務的可能性,并降低了變更成本。





























