[[390095]]

【51CTO.com快譯】過去這幾年，數據的創建和使用方式出現了一個微妙但明顯的趨勢。據IDC聲稱：“全球數據總量將從2018年的33 ZB猛增到2025年的175ZB，年復合增長率高達61%。”這在改變數據處理和分析方面的基本規則。

這個數據趨勢在為以前未重視的一系列新的用例(use case)鋪平道路，還在改變處理和使用一些現有用例的方式，這反過來需要一種新穎的、更現代的方法來適應這些場景。比如說，可以將來自許多不同數據源的不同數據集(比如圖像、文本、語音或視頻)實時部分或全部組合起來，以支持可能全面改變我們日常生活和業務方式的用例。

我們今天面臨的挑戰

由于這方面的步伐很快，我們無法輕松處理。市面上的大多數現有系統和平臺主要是為特定類型的數據(創建這些工具時)設計的(理應如此)。然而，正如我們所見，由于當前的最新趨勢，數據的形狀和大小在發生變化，因此數據創建和使用方面的基本前提不再適用。因此，現有基礎架構的要求與支持存在不匹配的情況就可以理解了。

我們需要一種專門為這個趨勢而開發的新方法，以適應和迎合事關大多數公司存活的一系列新用例。集成不同異構工具以創建一種同構解決方案框架所采用的通常方法根本行不通。

融合不同維度

如果您仔細觀察一下，會發現不同的問題空間(problem space)正在核心處融合。比如說，為了完成監控常規操作這項簡單工作，我們需要實時攝取和處理文本和語音等各種數據(數據流)，在本地(邊緣或設備內)和云層面都要有預測性(AI)。由于進行這種操作的速度和規模，幾乎不可能使用孤立的或“拼湊而成”的平臺。這種平臺根本無法擴展。

這是我們需要處理的第一個核心問題。

我們還必須融合來自解決方案空間的所有參與維度，以應對我們目前面臨的不同挑戰的這種大融合，這個問題會變得越來越重大、越難處理。我們必須打破孤島，創建一個融合的架構空間，然后該架構空間應該線性擴大，以匹配數據的速度和數量。

融合解決方案空間中不同維度的這種做法將提供直接集成和支持不同格式數據的方式。高級抽象將為處理各種數據提供一致的接口。數據流和人工智能的融合可以以一種絕對和預測性的方式持續處理數據。直接集成將使用戶可以完全控制系統所獲取和處理的每個字節，這將縮短延遲以實現高速精密處理。數據流處理將確保實時地持續聚合、運行統計、事件預測及相關操作。

這種融合優先的方法還將便于實現系統的真正線性擴展。如果是孤立的架構，我們發現針對不同的垂直領域一起擴展總是極其困難，也無法進一步完全利用資源。但是借助融合，我們不需要費心地擴展單個維度，資源利用率很高肯定隨之而來。

進一步的孤立(半孤立)架構迫使太多的網絡跳數以及太多的數據副本。在這種場景下，即使處理效率很高，這種架構也無法實現低延遲(或高速度)。我們需要盡量減少網絡跳數和數據復制。通過融合，我們可以盡量減少網絡跳數和數據復制，從而提升性能。

結論

各種數據迅速爆炸以及突然需要實時捕獲和分析所有這些數據，迫使我們擺脫特定系統傳統的分散綜合架構。我們需要采用計算模型的直接融合的可擴展單元，不僅應對當前情形，還可以在未來幾年保持創新、市場上立于不敗之地。

原文標題：Why A Novel Data Processing Philosophy Is Necessary For An Emerging Data Trend，作者：Sachin Sinha

【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】