?大數據初創廠商Dataddo公司首席執行官Petr Nemeth日前對全球2023年最重要的大數據發展趨勢進行了預測。

與人們可能認為的相反，如今投資數字化轉型的企業比例并不比新冠疫情發生之前高多少，處于數字化轉型更高級階段的企業所占的比例如今更高。

他們正在使用更多的數據生成工具，與更多的最終用戶共享數據，并在管理數據方面做出更一致的努力。

這對有效的數據管理和商業智能的未來發展提出了許多問題。例如，是否需要更多的工具?如何確保他們生成的數據持續集成、共享和正確解釋?將如何確保數據安全和干凈?

以下是對2023年及以后的七個大數據趨勢的預測，可以幫助商業領袖了解這些問題的答案。

對2023年大數據趨勢的預測

(1)數據生成工具變得更加多樣化，但每種工具的客戶生命周期變得更短

毫無疑問，可用的SaaS工具的數量以及它們產生的數據量將會繼續增長。預計2023年SaaS市場規模是2019年的兩倍。企業每年都在采用越來越多的工具，而且沒有看到結束的跡象。這樣做的一個不太明顯的副作用可能是縮短了這些工具的平均客戶生命周期。

各種規模的企業每年在很少使用的工具方面浪費大量的費用。他們不斷地嘗試采用新的工具，但與此同時卻忘記了其他工具。

此外，許多工具是在部門、團隊和員工層面上采用的，導致大企業對其部署的SaaS工具的一半一無所知，小企業對大約三分之一的工具一無所知。

為了減少未使用工具的支出浪費，人們將看到IT部門加強整合和清理，這將縮短大多數SaaS工具的生命周期。

例外的是對企業基礎設施至關重要的工具，例如CRM和數據集成工具 。

(2)數據集成變得與架構無關

如今，企業通常使用單獨的平臺進行ETL/ELT、反向ETL，有時還進行數據復制。

這是可以理解的，因為ETL/ELT和數據復制是數據集成世界中已經建立的流程，反向ETL是一個非常新的流程，只有少數的供應商提供。

反向ETL也是現代數據架構的最后一部分，因此對它感興趣的企業通常已經與ETL/ELT和數據復制解決方案的供應商建立了關系。因此，為反向ETL尋找一個單獨的平臺似乎很自然。

但是，隨著時間的推移，數據集成將成為業務的核心方面，企業將不再意識到集成過程之間的差異。用于集成的工具將變得更加用戶友好，用戶將不再需要考慮連接數據源和數據目的地的工程類型。

他們想要一個服務于所有集成類型的與架構無關的平臺。

業務人員變得更有數據素養，從低代碼到無代碼的商業智能，數據集成工具成為標準。

認識到需要精通數據的非技術專業人士的比例很高(Qlik公司在2022年的一項調查顯示為58%)，期望他們精通數據的決策者的比例更高(Forrester公司在2022年進行的一項調查顯示為82%)。如果這些專業人士想要在就業市場上保持競爭力，他們將不得不培養過去是工程師專屬領域的能力。

對他們來說，幸運的是，運營數據工具(商業智能工具、數據集成工具，甚至一些數據存儲)所需的技術知識越來越少。

根據調研機構Gartner公司的預測，到2025年，70%由企業開發的新應用程序將依賴于低代碼和無代碼技術。雖然“低代碼”和“無代碼”這兩個術語經常用于描述開發平臺，但人們將越來越多地看到它們用于描述商業智能和數據集成平臺。

這一趨勢再加上企業內部對數據素養的推動，將有效地減輕工程師的工作，并使非技術員工能夠構建自己的數據解決方案。

(3)對公民數據科學家的需求仍在增加

公民數據科學家是業務部門的專業人士，他們對數據和分析有一定的了解，有時也會編碼，但他們并不是數據科學家。在不久的將來，他們將在彌合業務團隊和數據團隊之間的差距方面發揮重要作用。他們的職責包括確定成功的度量，收集和解釋數據，評估和部署數據模型。

根據美國勞工統計局的預測，到2029年，數據科學領域的增長將超過其他任何領域。因此，像英國石油公司和Epsilon這樣的全球性公司已經從公民數據科學家那里獲益也就不足為奇了。

這類新專業人員的崛起將對許多企業的數據治理策略產生去中心化的影響，這是由中心輻射型治理模型定義的。

由此產生的業務團隊的授權將把數據團隊的重點轉移到安全和質量上。

(4)數據安全成為買家關注的主要問題

對于那些希望在運營層面擁有更大分析靈活性的企業來說，分散數據能力是必要的。但是，隨著數據泄露和其他隱私問題越來越普遍，這也使他們面臨更高程度的風險。

在歐洲，數據保護部門不斷對違反GDPR法規的行為開出罰單，其中一些科技公司遭到高昂的罰款。到目前為止，2022年最高一筆罰款高達4.05億歐元，這是Instagram所有者Meta Platforms公司在2022年9月遭到的罰款數額。

盡管美國聯邦沒有專門的數據隱私法，但企業仍要擔心各州的相關法律，當然還要防范黑客的攻擊。微軟、Uber、紅十字會和News Corporatio等企業和機構在2022年都遭到了黑客攻擊。

SaaS買家正在注意到并很快會更加意識到他們向供應商提供了哪些數據。供應商將發現，如果沒有類似SOC2這樣的認證，就很難完成大宗交易。人們可以看到這一點。最終，數據安全將優先于用戶友好性和價格等其他購買標準。

(5)數據質量仍然是一個挑戰，人工智能在清理數據方面發揮著更大的作用

只要一直在收集數據，數據質量就一直是一個挑戰。隨著數據來自越來越多的不同來源，并由越來越多的業務線專業人員處理，將錯誤擴散到下游系統帶來的損失變得越來越顯著。

Gartner公司在2021年估計，不良數據每年給企業造成的平均損失為1290萬美元。

盡管確保數據質量是一個難題，但在分析和數據集成工具中逐步實施基于人工智能的機制將極大地有助于保持高質量(例如Dataddo是一款集成工具，內置人工智能異常檢測器) 。

這些技術將在標記異常值方面變得越來越好，并將丟失、不正確和損壞的數據排除在管道和儀表板之外。

同樣重要的是要注意，由于基于人工智能的數據質量解決方案在長期分析大型數據集時總是最有效的，因此它們應該始終與以人為本的解決方案一起實施。

(6)商業智能工具成為被動使用的移動友好型工具

商業智能進入移動領域似乎很自然。數據的消費者(例如營銷人員、銷售人員和上層管理人員)經常需要訪問數據，像倉庫工作人員和卡車司機這樣不會在電腦前花費大量時間的專業人士需要采用移動商業智能工具。

因此，移動商業智能的市場價值預計將從2021年的100億美元增長到2030年的約555億美元。然而，這只是全球商業智能市場價值的一小部分，預計商業智能市場的價值將從2020年的352億美元增加到2028年的2242億美元。

無論移動商業智能工具變得多么先進和精簡，將主要用于提供見解。對于產生見解，采用臺式機將永遠是主流。

(7)保持領先

數字化轉型的競賽是一場極具活力的競賽。保持行業領先的一種方法是密切關注數據管理和商業智能的新興趨勢。它們可以讓人們預測即將發生的事情，并有助于了解如今實施的戰略。

企業應該考慮：

• 通過為最終用戶提供更多支持，積極推動SaaS工具的采用。
• 投資于面向未來的數據集成工具。
• 培養非技術業務專業人員的數據素養。
• 盡一切努力符合國際數據安全標準。