【51CTO.com快譯】什么是機(jī)器人數(shù)據(jù)自動(dòng)化 (Robotic Data Automation 以下簡(jiǎn)稱(chēng) RDA)

機(jī)器人數(shù)據(jù)自動(dòng)化 (RDA) 是一種新模式，它有助于自動(dòng)化數(shù)據(jù)集成和數(shù)據(jù)準(zhǔn)備活動(dòng)，這些活動(dòng)涉及到處理用于分析和人工智能/機(jī)器學(xué)習(xí)應(yīng)用程序的機(jī)器數(shù)據(jù)。RDA 不僅僅是一個(gè)框架，還包含了一套實(shí)現(xiàn)數(shù)據(jù)自動(dòng)化的技術(shù)和產(chǎn)品能力。

RDA 使企業(yè)能夠大規(guī)模操作機(jī)器數(shù)據(jù)，從而推動(dòng)人工智能。

RDA 在企業(yè)領(lǐng)域具有廣泛的適用性，首先，CloudFabrix 采用 RDA 框架并將其應(yīng)用于解決 AIOps 問(wèn)題——以幫助簡(jiǎn)化和加速 AIOps 實(shí)現(xiàn)，并使其更加開(kāi)放和可擴(kuò)展。

RDA使用數(shù)據(jù)機(jī)器人自動(dòng)執(zhí)行重復(fù)的數(shù)據(jù)集成、清理、驗(yàn)證、成形、豐富和轉(zhuǎn)換活動(dòng)，這些數(shù)據(jù)機(jī)器人被調(diào)用以在“低代碼”數(shù)據(jù)工作流或管道中連續(xù)工作。RDA有助于輕松地將數(shù)據(jù)移入和移出AIOps系統(tǒng)，從而簡(jiǎn)化和加速AIOps實(shí)現(xiàn)，否則這些實(shí)現(xiàn)將依賴(lài)于大量手動(dòng)數(shù)據(jù)集成和專(zhuān)業(yè)服務(wù)活動(dòng)。

為什么需要 RDA

AIOps需要處理從各種混合 IT 數(shù)據(jù)源獲得的大量數(shù)據(jù)，這些數(shù)據(jù)分布在本地、云和邊緣環(huán)境中。這些數(shù)據(jù)有多種格式和交付模式。此外，此類(lèi)數(shù)據(jù)處理的結(jié)果還需要與 IT 生態(tài)系統(tǒng)中的其他工具（例如：ITSM/閉環(huán)自動(dòng)化/協(xié)作工具和 BI/報(bào)告工具）進(jìn)行交換。

所有這些都需要以高效、可重用和可擴(kuò)展的方式集成、攝取、準(zhǔn)備、驗(yàn)證、清理、轉(zhuǎn)換、整合、分析和將數(shù)據(jù)移入或者移出 AIOps 系統(tǒng)。這些基本任務(wù)在 AIOps 實(shí)施中常常被忽略，并且導(dǎo)致了嚴(yán)重的延遲和增加了 AIOps 項(xiàng)目的成本。

挑戰(zhàn)

讓我們了解一下在實(shí)施 AIOps 項(xiàng)目時(shí)，數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)集成活動(dòng)中的一些關(guān)鍵挑戰(zhàn)。

• 不同的數(shù)據(jù)格式（文本/二進(jìn)制/json/XML/CSV）、數(shù)據(jù)傳輸模式（流、批處理、批量、通知）、編程接口（API/Webhooks/Queries/CLI）
• 復(fù)雜的數(shù)據(jù)準(zhǔn)備活動(dòng)，包括完整性檢查、清理、轉(zhuǎn)換和行成數(shù)據(jù)（聚合/過(guò)濾/排序）
• 原始數(shù)據(jù)通常缺乏應(yīng)用程序或服務(wù)上下文，需要從外部系統(tǒng)引入上下文來(lái)進(jìn)行更新實(shí)時(shí)數(shù)據(jù)。
• 實(shí)施數(shù)據(jù)工作流需要專(zhuān)業(yè)的編程/數(shù)據(jù)科學(xué)技能
• 源系統(tǒng)或目標(biāo)系統(tǒng)的更改需要重寫(xiě)/更新連接器

AIOps 中數(shù)據(jù)處理的傳統(tǒng)方法

在傳統(tǒng)方法中，AIOps 供應(yīng)商提供了一組現(xiàn)成的集成，將 AIOps 解決方案連接到數(shù)據(jù)源，處理數(shù)據(jù)的方法和結(jié)果如下：

• 數(shù)據(jù)采集、處理和集成的黑盒方法。
• 用例和場(chǎng)景僅限于平臺(tái)支持的內(nèi)容。
• 集成大多是預(yù)定義/硬編碼的限制重用。
• 需要專(zhuān)業(yè)/編程技能（Javascript、Python 等）的復(fù)雜腳本模塊或說(shuō)明書(shū)。
• 難以引入外部集成，用于間歇數(shù)據(jù)處理（例如：富集）。
• 難以以編程方式訪問(wèn)數(shù)據(jù)，以實(shí)現(xiàn)補(bǔ)充功能（例如：腳本、報(bào)告、儀表板、自動(dòng)化等的數(shù)據(jù)訪問(wèn)）。

這些都是通過(guò)增加延遲和成本（手動(dòng)數(shù)據(jù)準(zhǔn)備/處理活動(dòng)）來(lái)有效處理 AIOps 的障礙。

短時(shí)需求：AIOps 的機(jī)器人數(shù)據(jù)自動(dòng)化

機(jī)器人數(shù)據(jù)自動(dòng)化 (RDA)是AIOps 2.0 的關(guān)鍵技術(shù)

RDA 的自動(dòng)化 DataOps，類(lèi)似于 RPA 自動(dòng)化業(yè)務(wù)流程。RDA是AIOps平臺(tái)不可分割的一部分，可提供增強(qiáng)的數(shù)據(jù)準(zhǔn)備和集成功能能力。RDA 既是一個(gè)數(shù)據(jù)自動(dòng)化框架，也是一個(gè)加速和簡(jiǎn)化AIOps實(shí)現(xiàn)中所有數(shù)據(jù)處理的工具箱。

重點(diǎn)

• 使用數(shù)據(jù)機(jī)器人實(shí)現(xiàn)低代碼數(shù)據(jù)管道。
• 原生 AI/ML 機(jī)器人程序。
• CFXQL — 統(tǒng)一查詢(xún)語(yǔ)言。
• 內(nèi)聯(lián)數(shù)據(jù)映射。
• 數(shù)據(jù)完整性檢查。
• 數(shù)據(jù)屏蔽、編輯和加密。
• 數(shù)據(jù)整合：聚合/過(guò)濾/排序。
• 數(shù)據(jù)提取/指標(biāo)獲取。
• 合成數(shù)據(jù)。

好處

• 簡(jiǎn)化和加速 AIOps 用例的實(shí)現(xiàn)。
• 減少與數(shù)據(jù)準(zhǔn)備和集成相關(guān)的時(shí)間/工作/成本。
• 適用于 DevOps/ProdOps 人員（不需要數(shù)據(jù)科學(xué)家技能）。

用例和場(chǎng)景

• 日志集群： 從云和本地獲取應(yīng)用程序日志，運(yùn)行 ML 模型以集群日志，將結(jié)果推送到Kibana/CFX儀表板。
• CMDB 同步：從 CFX 獲取最新的資產(chǎn)清單并將其推送到CMDB。
• 從合作伙伴/子公司 ITSM 到客戶(hù)ITSM的標(biāo)簽電子綁定（例如：BMC 事件到 ServiceNow）。
• 事件 NLP 分類(lèi)：從 ServiceNow 獲取標(biāo)簽，OpenAI（GPT-3）進(jìn)行NLP分類(lèi)，并在 ServiceNow 中豐富標(biāo)簽。
• 異常檢測(cè)：從Prometheus（或任何監(jiān)控工具）獲取節(jié)點(diǎn)的歷史 CPU 使用率（每小時(shí)）。應(yīng)用回歸在Slack上發(fā)送一條消息，并將異常列表作為附件。
• 標(biāo)簽集群：從ServiceNow獲取最近 24 小時(shí)的事件，對(duì)標(biāo)簽應(yīng)用集群，并將結(jié)果推送到新數(shù)據(jù)集，以便在 CFX 儀表板中進(jìn)行可視化。
• 變更檢測(cè)：獲取AWS EC2 虛擬機(jī)的基準(zhǔn)清單，并與當(dāng)前狀態(tài)進(jìn)行比較以突出計(jì)劃外的變更。

原文標(biāo)題：Taming the Data Problem and Accelerating AIOps Implementations With RDA，作者：Tejo Prayaga

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】