?大數(shù)據(jù)世界正在以前所未有的方式發(fā)生著變化，特別是企業(yè)將數(shù)據(jù)整合到一起并將其應(yīng)用到業(yè)務(wù)的情況下。而企業(yè)都面臨的挑戰(zhàn)是能夠發(fā)現(xiàn)、識(shí)別并帶來構(gòu)建產(chǎn)品、提供服務(wù)和了解客戶所需的數(shù)據(jù)。數(shù)據(jù)集成本身幾十年來一直是一種實(shí)踐和挑戰(zhàn)。然而，新的工具和流程正在以新的方式使企業(yè)達(dá)到一種能夠支持人工智能、機(jī)器學(xué)習(xí)和物聯(lián)網(wǎng)等復(fù)雜應(yīng)用程序的狀態(tài)。問題是，以數(shù)據(jù)為中心的文化還很遙遠(yuǎn)，特別是由于數(shù)據(jù)仍然存在于孤島中，跨越不同的設(shè)備，并以不同的格式存儲(chǔ)，這些可能是很多企業(yè)沒有準(zhǔn)備好充分利用其潛力的部分原因。

以下是未來一年值得關(guān)注的一些發(fā)展。

非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和搜索

首先，企業(yè)需要做些什么來處理輸入或生成的不斷增長(zhǎng)的數(shù)據(jù)量。調(diào)研機(jī)構(gòu)Constellation Research公司副總裁兼首席分析師Andy Thurai說，“改變游戲規(guī)則的是非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、管理和搜索方式。人工智能需要采用大量非結(jié)構(gòu)化數(shù)據(jù)，這很重要，因?yàn)槭占降慕?0%的數(shù)據(jù)都是非結(jié)構(gòu)化的。”

他補(bǔ)充說，“許多企業(yè)擁有的非結(jié)構(gòu)化數(shù)據(jù)遠(yuǎn)遠(yuǎn)多于他們真正知道該如何處理的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)被轉(zhuǎn)儲(chǔ)到像Amazon S3這樣的存儲(chǔ)設(shè)施中，沒有人會(huì)費(fèi)心從中獲取見解，除非有迫切的需求。視頻、圖像和音頻文件以及其他類型的非結(jié)構(gòu)化數(shù)據(jù)會(huì)占用大量空間。鑒于存儲(chǔ)需求的巨大規(guī)模，存儲(chǔ)成本成為許多企業(yè)的一個(gè)主要因素。這種存儲(chǔ)需要比傳統(tǒng)系統(tǒng)便宜得多。”

他表示，Data Lakehouse就是為了解決這些問題而發(fā)明的。數(shù)據(jù)湖直接從原始來源存儲(chǔ)數(shù)據(jù)，而不需要更傳統(tǒng)的數(shù)據(jù)倉庫所需要的格式化、清理和轉(zhuǎn)換。Thurai指出：“Data Lakehouse還支持大規(guī)模的機(jī)器學(xué)習(xí)工作負(fù)載。”

Thurai表示，現(xiàn)在越來越多的工具和平臺(tái)以對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行多語言搜索，搜索未標(biāo)記、未分類的圖像為特色。以前很難在掃描文檔中搜索圖像。視頻、圖像和音頻自動(dòng)分類功能是另一個(gè)非常重要的領(lǐng)域。數(shù)據(jù)科學(xué)家需要花更少的時(shí)間來處理這些數(shù)據(jù)，而花更多的時(shí)間來建立模型。

這樣的能力使系統(tǒng)能夠發(fā)現(xiàn)相似之處，這有效地保護(hù)了音樂、圖像、音樂視頻等的版權(quán)。Thurai說。“現(xiàn)在可以比較兩個(gè)非結(jié)構(gòu)化數(shù)據(jù)片段，例如音樂或視頻，看看其中一個(gè)是否復(fù)制自另一個(gè)。此外，這種能力對(duì)情感分析也很有用。例如，如果有人在新聞片段中提到某一公司或個(gè)人，人工智能可以自動(dòng)分析未標(biāo)記的數(shù)據(jù)，并預(yù)防性地提出緩解措施。”

數(shù)據(jù)網(wǎng)格

云計(jì)算已經(jīng)出現(xiàn)在商業(yè)領(lǐng)域很多年了。然而，大數(shù)據(jù)領(lǐng)域剛剛開始感受到它的影響。OvalEdge公司首席執(zhí)行官Sharad Varshney說，“云計(jì)算技術(shù)現(xiàn)在已經(jīng)很成熟，但非主流的分布式技術(shù)仍在推動(dòng)數(shù)據(jù)管理領(lǐng)域最令人興奮的發(fā)展。也許其中最重要的是數(shù)據(jù)網(wǎng)格架構(gòu)。該技術(shù)支持去中心化的數(shù)據(jù)管理，而不是將數(shù)據(jù)傳輸?shù)胶椿騻}庫，它是在域中工作的。”

許多有遠(yuǎn)見的企業(yè)已經(jīng)開始把它納入他們的數(shù)據(jù)治理和管理戰(zhàn)略。Varshney說。“主要的云計(jì)算和數(shù)據(jù)組織已經(jīng)采用了數(shù)據(jù)網(wǎng)格技術(shù)，這是一個(gè)積極的跡象，表明這一關(guān)鍵戰(zhàn)略正變得更容易實(shí)現(xiàn)。與此同時(shí)，與數(shù)據(jù)管理領(lǐng)域內(nèi)或外的任何新技術(shù)一樣，發(fā)起文化變革是最重要的障礙之一。”

他警告說。“數(shù)據(jù)網(wǎng)格技術(shù)要求改變用戶和上層管理人員訪問和查詢數(shù)據(jù)的方式。有些人很難接受將責(zé)任從中央權(quán)力機(jī)構(gòu)轉(zhuǎn)移到個(gè)人身上。首先也是最重要的是信任的問題。然而，一旦克服了這些最初的障礙，那么該技術(shù)的有效性應(yīng)該可以消除內(nèi)部擔(dān)憂。”

隨著數(shù)字產(chǎn)品的興起，大數(shù)據(jù)分析出現(xiàn)了一種新的方法——產(chǎn)品分析。Heap公司數(shù)據(jù)科學(xué)主管David Robinson說，“每一個(gè)使用數(shù)字產(chǎn)品的人都在提供制造商如何使其更成功的信息，像SaaS?、電子商務(wù)和移動(dòng)應(yīng)用程序這樣的數(shù)字產(chǎn)品能夠跟蹤行為數(shù)據(jù)——瀏覽量、點(diǎn)擊量和用戶在使用產(chǎn)品時(shí)進(jìn)行的其他交互。”

他繼續(xù)說，“產(chǎn)品分析將數(shù)據(jù)轉(zhuǎn)化為改進(jìn)產(chǎn)品的可操作的見解，就像上一代分析師和數(shù)據(jù)庫工程師學(xué)會(huì)了將倉庫轉(zhuǎn)化為商業(yè)智能一樣，我們正在看到從收集的大量行為數(shù)據(jù)中獲取價(jià)值的能力發(fā)生轉(zhuǎn)變。產(chǎn)品經(jīng)理和設(shè)計(jì)師不再需要一次采訪幾個(gè)用戶，他們可以看到現(xiàn)實(shí)世界中成千上萬的用戶如何使用他們的產(chǎn)品。企業(yè)的董事不必猜測(cè)將戰(zhàn)略投資應(yīng)用到產(chǎn)品的何處，他們可以衡量和比較每項(xiàng)投資的影響。”

然而，Robinson警告說，一個(gè)需要解決的潛在問題是因果推理。他說，“尋找可操作的產(chǎn)品洞察力的科學(xué)是對(duì)原因的推理，需要回答‘如果改變這個(gè)產(chǎn)品，會(huì)對(duì)業(yè)務(wù)結(jié)果產(chǎn)生什么影響?’這個(gè)問題，行為數(shù)據(jù)尤其充滿了令人混淆的陷阱，粗心的人可能會(huì)把相關(guān)性當(dāng)成因果關(guān)系。這個(gè)問題出現(xiàn)在產(chǎn)品開發(fā)過程的每個(gè)階段。產(chǎn)品經(jīng)理可以使用行為數(shù)據(jù)來衡量受錯(cuò)誤影響的用戶數(shù)量，但對(duì)他們來說更重要的是衡量錯(cuò)誤對(duì)業(yè)務(wù)結(jié)果的影響。如果產(chǎn)品經(jīng)理對(duì)行為數(shù)據(jù)不小心，他們可能會(huì)得出一個(gè)荒謬的結(jié)論——比如‘在所有訪問者中，在結(jié)帳頁面遇到錯(cuò)誤的用戶購買的可能性是其他用戶的10倍’，而只是因?yàn)檫@些用戶是最先到達(dá)結(jié)帳頁面的用戶。”

機(jī)器學(xué)習(xí)數(shù)據(jù)集

人工智能的背后是機(jī)器學(xué)習(xí)，它將數(shù)據(jù)用于訓(xùn)練算法和模型。然而，這些任務(wù)和所需的數(shù)據(jù)量是巨大的。Camunda公司高級(jí)產(chǎn)品經(jīng)理Eric Lundberg表示：“數(shù)據(jù)科學(xué)家仍將45%的時(shí)間花在數(shù)據(jù)準(zhǔn)備上，而訓(xùn)練有素的數(shù)據(jù)科學(xué)家在全球都存在短缺。能夠提供干凈的、機(jī)器學(xué)習(xí)準(zhǔn)備好的數(shù)據(jù)的數(shù)據(jù)系統(tǒng)可以減少數(shù)據(jù)科學(xué)家的時(shí)間，并將項(xiàng)目的投資回報(bào)率提高到足夠高的水平，從而值得投資。如今的軟件供應(yīng)商越來越多地提供機(jī)器學(xué)習(xí)準(zhǔn)備好的數(shù)據(jù)集，并使任何人都能更容易地創(chuàng)建高質(zhì)量、有意義的機(jī)器學(xué)習(xí)模型。”

提供機(jī)器學(xué)習(xí)就緒的數(shù)據(jù)集可以完全消除對(duì)基本用例的數(shù)據(jù)管道的需求。Lundberg說，“這也將人工智能的觸角伸向了公民數(shù)據(jù)科學(xué)家。任何團(tuán)隊(duì)都可以創(chuàng)建自己的機(jī)器學(xué)習(xí)模型，而不是通過對(duì)寶貴的數(shù)據(jù)工程或數(shù)據(jù)科學(xué)資源的激烈競(jìng)爭(zhēng)來運(yùn)行項(xiàng)目。”

他警告說，“與此同時(shí)，如果企業(yè)不是收集數(shù)據(jù)的人，就不可能保證數(shù)據(jù)的質(zhì)量。數(shù)據(jù)缺失、數(shù)據(jù)收集不一致或人為錯(cuò)誤需要時(shí)間來糾正，而這些都與數(shù)據(jù)收集方法有關(guān)。但事情正在朝著正確的方向發(fā)展。”

Verta公司創(chuàng)始人兼首席執(zhí)行官M(fèi)anasi Vartak表示，為機(jī)器學(xué)習(xí)操作數(shù)據(jù)對(duì)數(shù)據(jù)的管理和交付方式有很大影響。他說，“一個(gè)例子是特征存儲(chǔ)的出現(xiàn)，數(shù)據(jù)科學(xué)家使用它來確保跨模型開發(fā)和模型生產(chǎn)環(huán)境的機(jī)器學(xué)習(xí)模型特征之間的連續(xù)性。隨著企業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型的創(chuàng)新，第一個(gè)合乎邏輯的步驟是獲取數(shù)據(jù)，以便對(duì)業(yè)務(wù)問題的潛在人工智能或機(jī)器學(xué)習(xí)解決方案進(jìn)行研究和試驗(yàn)。既然模型構(gòu)建能力已經(jīng)成熟和穩(wěn)定，操作模型就有了完全獨(dú)特的需求。特征庫是彌合模型構(gòu)建和模型操作之間鴻溝的一個(gè)方面，但對(duì)于企業(yè)來說，為機(jī)器學(xué)習(xí)操作數(shù)據(jù)還有很多其他的考慮。”

道德的數(shù)據(jù)解決方案

塑造該市場(chǎng)的另一個(gè)趨勢(shì)是，旨在確保更合乎道德地部署人工智能的工具和方法的興起。Diveplane公司銷售工程總監(jiān)Jack Shu表示，“合乎道德地使用人工智能的核心是合乎道德地使用數(shù)據(jù)。遵守跨司法管轄的治理往往會(huì)妨礙數(shù)據(jù)的可用性。在某些情況下，需要進(jìn)一步處理，因?yàn)樵紨?shù)據(jù)可能表現(xiàn)出偏見或歧視等潛在屬性。”

Shu繼續(xù)說，“數(shù)據(jù)監(jiān)控和可觀察性也成為了重要的考慮因素，因?yàn)榇蠖鄶?shù)數(shù)據(jù)源不斷更新，可能會(huì)隨著時(shí)間推移而漂移。從道德上管理數(shù)據(jù)所面臨的問題是有多種技術(shù)可以解決這些挑戰(zhàn)，盡管每種解決方案往往只關(guān)注問題的一個(gè)子部分。例如，合成數(shù)據(jù)的應(yīng)用允許遵守GDPR法規(guī)，從而允許跨司法管轄區(qū)傳輸數(shù)據(jù)。也有各種各樣的解決方案來減輕偏見和歧視，還有另一套數(shù)據(jù)監(jiān)測(cè)工具。這就產(chǎn)生了針對(duì)每個(gè)子問題的專門軟件的需求，這可能很快導(dǎo)致成本和復(fù)雜性的增加，因?yàn)闃I(yè)務(wù)用戶需要學(xué)習(xí)和維護(hù)多個(gè)軟件和模型。”

Shu推薦了基于實(shí)例的機(jī)器學(xué)習(xí)的應(yīng)用，它能夠使用單一平臺(tái)來合成數(shù)據(jù)，監(jiān)控?cái)?shù)據(jù)，并在必要時(shí)修復(fù)數(shù)據(jù)不需要的屬性。Shu警告說，“雖然這樣的解決方案現(xiàn)在已經(jīng)可用，與現(xiàn)有的企業(yè)基礎(chǔ)設(shè)施和機(jī)器學(xué)習(xí)投資的兼容性可能會(huì)減緩新技術(shù)的采用，如果能夠克服在企業(yè)范圍內(nèi)采用基于實(shí)例的機(jī)器學(xué)習(xí)的障礙，這將為使用單一平臺(tái)生成合成數(shù)據(jù)、減少偏見或歧視以及實(shí)時(shí)數(shù)據(jù)監(jiān)控提供可能性。”

數(shù)字集成中心

GigaSpaces公司首席執(zhí)行官Adi Paz表示，“如今IT基礎(chǔ)設(shè)施錯(cuò)綜復(fù)雜，構(gòu)建新的數(shù)字服務(wù)是一項(xiàng)艱苦的工作，開發(fā)周期很長(zhǎng)，遠(yuǎn)遠(yuǎn)落后于市場(chǎng)需求。數(shù)字集成中心有助于通過將記錄系統(tǒng)與數(shù)字應(yīng)用程序分離來克服這些障礙。”他表示，企業(yè)能夠在現(xiàn)有遺留系統(tǒng)之上快速推出原生云數(shù)字服務(wù)，將開發(fā)工作重點(diǎn)放在交付穩(wěn)定的高性能數(shù)字服務(wù)流上，而不是將時(shí)間花在系統(tǒng)記錄集成上。

這樣的中心是“中間件”的一種形式，它需要集成到企業(yè)IT架構(gòu)上，并將其連接到組織的不同記錄系統(tǒng)上。Paz警告說，“有些企業(yè)在開放他們的IT基礎(chǔ)設(shè)施和在現(xiàn)有架構(gòu)上添加外部集成層方面猶豫不決。”

 不過他表示，這些中心通過大幅縮短新數(shù)字服務(wù)的上市時(shí)間，促進(jìn)了業(yè)務(wù)加速，通過使開發(fā)人員能夠?qū)Ｗ⒂谛碌臉I(yè)務(wù)邏輯，而不是將時(shí)間花在重復(fù)的數(shù)據(jù)集成任務(wù)上，有助于推動(dòng)創(chuàng)新。

交換/數(shù)據(jù)融合

數(shù)據(jù)交換和數(shù)據(jù)融合正在作為預(yù)先配置的集成環(huán)境出現(xiàn)，它省去了許多減慢數(shù)據(jù)分析應(yīng)用程序和功能的前期工作。Smart Sense公司首席產(chǎn)品官Sammy Kolt表示:“數(shù)據(jù)交換允許企業(yè)將其技術(shù)合作伙伴平臺(tái)生成的數(shù)據(jù)導(dǎo)入到自己的系統(tǒng)中，以便在自己的商業(yè)智能或分析工具中使用。當(dāng)多個(gè)數(shù)據(jù)流被整合到一個(gè)數(shù)據(jù)庫中進(jìn)行額外分析時(shí)，就會(huì)發(fā)生數(shù)據(jù)融合。像天氣和交通這樣的外部數(shù)據(jù)流可以幫助通知和影響需要做出的關(guān)鍵業(yè)務(wù)決策。例如，當(dāng)電力、溫度、能源、庫存和財(cái)務(wù)數(shù)據(jù)集組合在一起時(shí)，內(nèi)部數(shù)據(jù)流會(huì)帶來復(fù)合效應(yīng)。當(dāng)供應(yīng)商和平臺(tái)超越專有報(bào)告，開放他們的系統(tǒng)，并提供對(duì)底層結(jié)構(gòu)化數(shù)據(jù)的訪問時(shí)，這一切都成為可能。”

Kolt解釋說，數(shù)據(jù)交換和數(shù)據(jù)融合有助于減輕數(shù)據(jù)科學(xué)團(tuán)隊(duì)的工作量。他說，“企業(yè)不再只指望使用供應(yīng)商提供的開箱即用的報(bào)告。他們希望能夠訪問這些數(shù)據(jù)，這樣他們的團(tuán)隊(duì)就可以對(duì)這些數(shù)據(jù)進(jìn)行額外的分析。數(shù)據(jù)科學(xué)團(tuán)隊(duì)需要為這種方法做好準(zhǔn)備。當(dāng)企業(yè)的數(shù)據(jù)科學(xué)團(tuán)隊(duì)沒有明確定義或設(shè)計(jì)良好時(shí)，障礙就會(huì)出現(xiàn)。創(chuàng)建一個(gè)數(shù)據(jù)科學(xué)團(tuán)隊(duì)，既關(guān)注技術(shù)方面，也關(guān)注業(yè)務(wù)分析。”

Kolt說:“那些將自己定位為平臺(tái)的企業(yè)已經(jīng)發(fā)現(xiàn)，他們通過數(shù)據(jù)交換為客戶增加了價(jià)值。在某些垂直領(lǐng)域的數(shù)據(jù)科學(xué)成熟度與它們與這一概念的距離之間存在明顯的相關(guān)性。”

數(shù)字資產(chǎn)管理

數(shù)字資產(chǎn)管理平臺(tái)正在崛起，Hyland公司主要內(nèi)容架構(gòu)師Alan Porter表示：“在一個(gè)存儲(chǔ)庫中，在正確的時(shí)間快速訪問正確的資產(chǎn)的需求從未如此之大，而這些資產(chǎn)的數(shù)量也從未如此之大。數(shù)字資產(chǎn)管理將數(shù)據(jù)、圖像、文件和相關(guān)材料集合在一起，消除了這些資產(chǎn)周圍的孤島，并通過適當(dāng)?shù)脑獢?shù)據(jù)輸入和標(biāo)記，使這些資產(chǎn)更容易通過平臺(tái)檢索。”

在早期，數(shù)字資產(chǎn)管理主要是由營(yíng)銷部門用于管理內(nèi)容和資產(chǎn)。他補(bǔ)充說，“快進(jìn)到今天，技術(shù)已經(jīng)發(fā)展到包括產(chǎn)品資產(chǎn)管理，并適用于企業(yè)，還包括產(chǎn)品團(tuán)隊(duì)和更多的人，以連接內(nèi)容、數(shù)據(jù)和其他資產(chǎn)。在龐大的、迅速發(fā)展的資產(chǎn)存儲(chǔ)庫中，員工經(jīng)常會(huì)浪費(fèi)大量的人力時(shí)間來查找和檢索所需的文件——或者由于很難找到合適的內(nèi)容，只能采用擁有的任何資源，從而產(chǎn)生低質(zhì)量的輸出。”

人工智能現(xiàn)在在這些平臺(tái)的性能中也扮演著關(guān)鍵角色。Porter說:“在該框架之上，一個(gè)能夠?qū)W習(xí)不同數(shù)據(jù)集之間聯(lián)系的人工智能引擎使這些資產(chǎn)更加有用和實(shí)用。”

Porter警告說，DAM平臺(tái)的有效性依賴于前端準(zhǔn)確、完整和詳細(xì)的元數(shù)據(jù)輸入。為了為搜索特定資產(chǎn)的用戶提供最佳結(jié)果，平臺(tái)需要基于最佳數(shù)據(jù)進(jìn)行工作。?