如何破解電商7大挑戰？DMS+AnalyticDB助力企業智能決策
導 語
本文為數據庫「擁抱Data+AI」系列連載第1篇，該系列是阿里云瑤池數據庫面向各行業Data+AI應用場景，基于真實客戶案例&最佳實踐，展示Data+AI行業解決方案的連載文章。本篇內容針對電商行業痛點，將深入探討如何利用數據與AI技術以及數據分析方法論，為電商行業注入新的活力與效能。
相關內容推薦：《大咖說｜Data+AI：企業智能化轉型的核心驅動力》
行業趨勢
在當今數字化浪潮洶涌澎湃的時代，電商行業正經歷著深刻的變革與發展。數據（Data）與人工智能（AI）成為推動電商行業變革發展的核心力量。海量的數據中蘊含著無盡的價值與機遇，通過對大數據的深入挖掘和分析，電商企業能夠精準洞察消費者需求、優化運營流程、提升決策效率。而 AI 的加入為電商領域帶來了更強大的智能服務能力，同時在數據價值發現上帶來無限的想象空間。
在過去幾年，電商企業通過構建大數據體系實現數字化轉型，然而在享受數據紅利背后也發現了現有大數據架構的不足：在信息維度上主要以結構化分析為主，圖片、文檔等信息有待挖掘；在應用方面缺乏實時和敏捷的分析應用；在運維上多引擎組合極大增加開發和運維成本。隨著技術變革，大語言模型和RAG已實現多模態分析可拓展更多信息維度，離在線一體引擎可實現了流、批處理及在線分析的場景融合。
在極需創新的當下，如何快速升級成可支撐未來3~5年業務創新的Data+AI架構？在擁有更多信息維度下，如何實現更深入和精準的數據洞察？本文將深入探討如何利用好新的數據與AI技術以及數據分析方法論，為電商行業注入新的活力與效能。
技術挑戰
隨著在線處理、實時分析、智能化決策成為電商行業的剛需，企業技術架構在數據分析能力和AI能力構建上同時面臨很多挑戰：
-
數據在線重刷：業務上開放了自定義配置能力，商家修改配置后想要立馬看到配置之后的數據。數據倉庫引擎需要具備豐富的函數支持、事務以及復雜邏輯處理能力，能夠根據配置在線重算歷史數據并且對客提供分析服務。
-
實時在線分析：電商業務需要提供實時分析的同時也需要結合歷史數據作對比分析，因此需要引擎提供流批一體的能力，滿足實時指標、離線指標、累計指標、同環比及趨勢分析等指標的加工和復雜運算。
-
成本優化：長周期數據分析對商家來說很有價值，但數據倉庫引擎需要支持冷/熱數據分層來控制長周期數據存儲成本，同時在開發和使用上對業務是無感的。
-
穩定性提升：由于對外提供付費服務因此需要時刻保障業務的連續性。數據倉庫引擎在極端情況需要保障集群性能不降級。
-
數據質量和治理：AI的應用依賴于高質量的數據，數據的“自由散漫”問題，即數據的不準確、分散性和新鮮度是制約電商行業AI落地的重要因素。
-
數據資產與AI聯動：企業積累了大量數據資產，這些資產價值的釋放不僅依賴數據資產與AI的相互聯動（數據賦能AI，AI賦能數據），還依賴數據資產團隊和AI團隊間的協同，企業缺乏高效的聯動機制。
-
成本、人才與組織：AI落地通常需要較高的初期投入，包括基礎設施投入、人才培養投入、業務流程、組織變革等，企業需要評估AI投資回報率，實現降本增效。
阿里云 Data+AI 解決方案
在今年9月云棲大會上，阿里云瑤池數據庫重磅發布“DMS+X：統一、開放、多模的Data+AI數據管理服務”。該平臺通過OneMeta和OneOps兩大創新，簡化了數據管理與AI開發，實現DMS+X一站式的Data+AI全生命周期管理。在DMS+X之上，阿里云將助力企業數據以最快的速度擁抱AI，落地業務，產生價值。
為了應對業務發展對技術的挑戰，電商行業客戶可以通過阿里云DMS+AnalyticDB實現 Data+AI 架構全新升級，構建AI原生的倉內智能能力，打造新一代的在線數倉。
面向 Data+AI 的數據架構升級
Zero-ETL
隨著電商行業升級，業務規則配置靈活性、報表分析自助性成為剛需。傳統基于ETL和離線調度加工的開發模式越發不能滿足商家分析訴求。為應對日益旺盛的分析需求，阿里云瑤池旗下的云原生數據倉庫AnalyticDB PostgreSQL版（以下簡稱ADB-PG）推出 Zero-ETL 功能，無需配置ETL任務即可實現業務數據庫的增量同步，結合 ADB-PG 增量實時物化視圖實現無調度的任務加工和數據重刷，提升商家分析時效性和靈活性。
實時在線分析
在過去流數據和歷史數據進行關聯分析的成本極高，同時在開發和運維上因為要學習兩套引擎語法成本較高。ADB-PG 增量實時物化視圖支持豐富語法：多表關聯、嵌套子查詢、窗口函數等；支持行級數據刷新和級聯刷新，不需要業務上來實現數據任務的調度依賴。在Upsert下通過ADB-PG分布式直寫計算節點能力加持下可達到10W+ RPS的寫入吞吐。
混合負載資源隔離
集群同時存在高吞吐寫入、歷史數據重算、實時計算和在線分析服務需求，因此需要支持混合業務的負載。結合 ADB-PG 資源隔離能力構建了不同資源組，根據業務在不同時間段的重要性動態地分配資源，比如在早上需要保障在線分析服務和實時計算的業務連續性，在數據刷新資源時可以調低一些。在凌晨則相反，批處理加工的資源最大，同時也保留一部分資源保障KA客戶的分析服務。
長周期數據歸檔
在過去由于成本考慮無法為客戶提供兩年前的歷史數據分析服務，同時對于沒有分區的表需要業務上手動轉冷非常不方便。通過ADB-PG 實現了長周期數據的自動歸檔，可以支持分區級和行級（指導字段）。在使用上可以自動路由到熱或冷數據，也可以通過參數控制僅訪問熱數據。在保障用戶能夠使用歷史數據的同時實現存儲成本優化。
滿足 KA 業務
對KA用戶需要有獨立的資源保障，但同時也要考慮整體的計算和存儲成本。對于一些批處理加工的數據，通過ADB-PG 數據互訪能力實現跨實例的數據訪問避免數據冗余存儲，通過實時物化視圖可以對中心數倉和KA 數倉上的數據進行計算，結果數據留存在衛星數倉。對于一些高頻率查詢的數據通過CDC增量同步到KA數倉，提供高性能的在線服務。對計算任務根據資源消耗情況進行費用分攤。
動態資源彈升
數據產品對外提供付費服務，因為需要時刻保障業務連續性。開源MPP架構產品雖然能提供高可用能力，但在計算節點依賴的宿主機發生宕機情況下會影響整個集群的性能。為了保障集群性能不降級，ADB-PG 提供了動態資源彈升的能力。
AI 場景實踐探索
電商行業客戶可在數據倉庫之上進行AI場景化實踐探索，阿里云瑤池數據庫提供了智能問數和以圖搜圖場景的解決方案。
智能問數
在當今快速演進的商業環境中，數據已成為企業策略制定的關鍵資源。無論是優化決策流程還是驅動創新，對數據的精確分析和高效管理至關重要。
DMS是阿里云在2013年發布的數據管理服務，能夠滿足企業一站式數據管理訴求。DMS Data Copilot是DMS基于阿里云大模型構建的數據智能助手，支持用戶通過自然語言的方式生成并優化SQL，降低SQL編寫門檻，提升開發效率。
企業內的數據團隊需要為商家研發數據智能產品，并對內部的產品運營團隊提供數據分析支持。大量的數據報表并不能完全滿足商家，運營和產品的需求，在繁重的開發工作之外還需要頻頻應對各方的取數需求，這些臨時的需求并不足以建設報表來滿足，諸如此類的問題每天都在發生，為數據研發工作帶來不小的挑戰。
DMS Copilot解決方案可以滿足各方靈活取數需求，以自然語言交互方式獲取數據，只需提出問題即可獲得所需結果，還支持一鍵生成圖表，查看數據變化趨勢。
對內部提升數據報表開發效率。以一個場景為例，需求方要基于銷售大區和合同版本維度統計近7天訪問"全局概覽"頁面的TOP3商家類目。只需輸入這段文本需求 DMS Copilot即可生成相應的SQL代碼。根據用戶的個性化需求Copilot還給出了歷史知識庫引用進一步提升回答準確度。
以圖搜圖
基于 ADB-PG 一站式RAG的OpenAPI構建圖片上傳、向量化 (Embedding)、圖片檢索完整鏈路，三天即可完成整個圖搜技術底座的搭建和優化，對客提供同源貨品推薦服務。
?
?
?
總結與展望
針對電商行業痛點，阿里云瑤池數據庫提供完整的 Data+AI 解決方案及落地最佳實踐，針對七大挑戰提供了創新的技術方案。利用 DMS+AnalyticDB 同時滿足數據在線處理、實時分析和智能化AI實踐，大大降低了企業開發和運維成本。
Data+AI為企業提供了增長的新途徑，企業必須認識到Data+AI的重要性，并將其作為戰略實施重點，促進智能化轉型以保持競爭力和市場領導地位，迎接新的機會。電商行業客戶進行面向Data+AI的升級和轉型，對外提供AI原生能力，能讓AI的開發和應用更普惠。通過循序漸進地探索和落地，期待未來能在電商產品上實現全面智能化。
