如今，大數(shù)據(jù)分析市場與幾年前相比已經(jīng)截然不同。而在未來十年，全球各行各業(yè)都將發(fā)生變革、創(chuàng)新和顛覆。 

[[222755]]

在日前發(fā)布的2017年度市場研究報告中，SiliconAngle Media公司的Wikibon分析團隊發(fā)現(xiàn)，2017年的全球大數(shù)據(jù)分析市場規(guī)模比前一年增長了24.5%.這比前一年的報告中預測的增長得更快，這主要是由于公共云的部署和利用好于人們的預期，以及云計算的平臺、工具和其他解決方案都在加速融合。此外，企業(yè)正在通過大數(shù)據(jù)分析更快速地脫離實驗和驗證階段，并從部署中獲得更高的業(yè)務價值。

展望未來，Wikibon團隊預測，2027年全球大數(shù)據(jù)分析市場的年增長率將以11%的速度增長，將達到1030億美元。通過在物聯(lián)網(wǎng)(IoT)、移動性和其他邊緣計算用例中采用大數(shù)據(jù)分析技術，大部分市場可以保持未來幾年的增長。

未來十年大數(shù)據(jù)分析發(fā)展的主要趨勢

正如Wikibon團隊的研究證實的那樣，未來十年將推動大數(shù)據(jù)分析行業(yè)發(fā)展的主要趨勢如下：

公共云提供商正在擴大其影響力。大數(shù)據(jù)行業(yè)正圍繞全球三大主要公共云提供商亞馬遜網(wǎng)絡服務、微軟Azure和谷歌云平臺提供相應的產(chǎn)品和服務，而大多數(shù)軟件供應商也在構(gòu)建解決方案。這些和其他大數(shù)據(jù)公共云提供商(包括像IBM和Oracle這樣已進入行業(yè)的大數(shù)據(jù)供應商)正在提供托管的IaaS和PaaS數(shù)據(jù)湖，鼓勵客戶和合作伙伴開發(fā)新的應用程序，并幫助客戶遷移遺留應用程序。其結(jié)果是，純粹的數(shù)據(jù)平臺和NoSQL供應商似乎發(fā)展比較平淡，日益被多元化的公共云提供商統(tǒng)治的大型數(shù)據(jù)領域所邊緣化。

與私有云相比，公共云的優(yōu)勢繼續(xù)擴大。公共云正在成為每個客戶細分領域首選的大數(shù)據(jù)分析平臺。這是因為公共云解決方案比內(nèi)部部署堆棧更為成熟，增加了更豐富的功能，而且擁有成本日益增加。公共云正在開發(fā)其應用程序編程接口生態(tài)系統(tǒng)，并加快他們的管理工具的速度，超過了為內(nèi)部部署而設計的大數(shù)據(jù)分析解決方案。

混合云正在成為企業(yè)大數(shù)據(jù)的過渡站點，以便在公共云中實現(xiàn)更全面的部署。混合云是大多數(shù)大型企業(yè)的大數(shù)據(jù)計劃，但主要是作為一種過渡戰(zhàn)略。這是因為天平正在向企業(yè)傾斜，將更多的大數(shù)據(jù)資產(chǎn)放在公共云上。認識到這一趨勢，傳統(tǒng)大數(shù)據(jù)供應商正在針對混合使用案例優(yōu)化其產(chǎn)品。出于同樣的原因，基于內(nèi)部部署數(shù)據(jù)中心的大數(shù)據(jù)平臺正在重建架構(gòu)，希望部署在公共云中。

基于云計算的大數(shù)據(jù)孤島融合正在加快企業(yè)實現(xiàn)價值的速度。用戶開始加快將孤立的大數(shù)據(jù)資產(chǎn)整合到公共云中的速度。公共云提供商的主導地位正在瓦解困擾企業(yè)私有大數(shù)據(jù)架構(gòu)的跨業(yè)務孤島。同樣重要的是，基于云計算和基于內(nèi)部部署的大數(shù)據(jù)解決方案正融合到集成產(chǎn)品中，旨在降低復雜性，并加快實現(xiàn)價值的速度。更多解決方案提供商正在提供標準化的API，以簡化訪問，加速開發(fā)，并在整個大數(shù)據(jù)解決方案堆棧中實現(xiàn)更全面的管理。

創(chuàng)新型大數(shù)據(jù)初創(chuàng)公司將越來越復雜的人工智能應用推向市場。創(chuàng)新的應用程序提供商開始通過基于人工智能的解決方案顛覆大數(shù)據(jù)的競爭格局。來自新的市場進入者的威脅在各個大數(shù)據(jù)領域都在加速增長，其中大部分創(chuàng)新都是為公共云或混合云部署而設計的。過去幾年來，許多新的數(shù)據(jù)庫、流處理和數(shù)據(jù)科學初創(chuàng)公司已經(jīng)進入市場。

顛覆性大數(shù)據(jù)方法正在成為已建立平臺的可行替代方案。不久之后，新一代的“獨角獸”大數(shù)據(jù)平臺提供商將推出融合了物聯(lián)網(wǎng)、區(qū)塊鏈和流計算的下一代方法。以上的這些新一代的大數(shù)據(jù)平臺將管理端到端的DevOps管道機器學習、深度學習和人工智能的優(yōu)化。同時，大數(shù)據(jù)平臺正在為邊緣設備設計人工智能微服務。

Hadoop正在成為大數(shù)據(jù)難題中的一部分。有跡象表明，人們將Hadoop視為一種傳統(tǒng)的大數(shù)據(jù)技術，而不是顛覆性業(yè)務應用程序的戰(zhàn)略平臺。盡管如此，Hadoop是一種成熟技術，廣泛用于許多用戶的IT組織中的關鍵用例(如非結(jié)構(gòu)化信息提煉)，并且在許多組織中仍然具有很長的使用壽命。考慮到這一長期前景，供應商通過在獨立開發(fā)的硬件和軟件組件之間實現(xiàn)更平滑的互操作性，不斷提高產(chǎn)品性能。

用戶越來越多地在開放的生態(tài)系統(tǒng)中混合和匹配多供應商的大數(shù)據(jù)部署。一些大數(shù)據(jù)供應商正在提供包含專有、非標準或非開源組件的解決方案。客戶正在利用當今競爭激烈的市場，從大數(shù)據(jù)分析廠商處獲取持續(xù)的增強功能。反過來，供應商則將他們的工具解耦為模塊化架構(gòu)，客戶可以在各種功能級別交換組件。對于希望通過完整的供應商鎖定在過去的市場中獲得可持續(xù)份額的供應商而言，這是最好的方法。

數(shù)據(jù)庫正在通過創(chuàng)新方法進行解構(gòu)和重組。從架構(gòu)角度來看，人們以前熟悉的數(shù)據(jù)庫正在減少。人們正在采用流媒體、內(nèi)存和無服務器大數(shù)據(jù)分析基礎架構(gòu)。供應商正在探索重新構(gòu)建核心數(shù)據(jù)庫功能以滿足新興需求的新方法，例如自動化機器學習管道和面向邊緣的認知物聯(lián)網(wǎng)分析。在這一演變過程中，隨著更多高性能事務分析功能集成到各種數(shù)據(jù)平臺中，分析和應用程序數(shù)據(jù)庫正在融合。此外，數(shù)據(jù)庫存儲引擎正在成為主要用于機器數(shù)據(jù)的存儲庫，可通過替代結(jié)構(gòu)(例如鍵值索引和對象模式)進行尋址。

數(shù)據(jù)科學工具鏈的端到端的DevOps管道越來越自動化。大數(shù)據(jù)增強的編程將繼續(xù)增長。開發(fā)人員可以使用越來越多的DevOps工具來自動化機器學習、深度學習和其他人工智能資產(chǎn)的開發(fā)、部署和管理中的各種任務。這些解決方案的范圍越來越廣泛，甚至利用專門的機器學習算法來推動超參數(shù)調(diào)整等機器學習開發(fā)功能的發(fā)展。

打包的大數(shù)據(jù)分析應用程序正變得越來越普及。未來十年，更多用戶將以預構(gòu)建、預培訓和模板化云服務的方式獲得大數(shù)據(jù)分析解決方案。更多的這些服務將自動調(diào)整其嵌入式機器學習、深度學習和人工智能模型，以持續(xù)提供最佳業(yè)務成果。更多的這些服務將納入預先訓練的模型，客戶可以調(diào)整和擴展到自己的特定需求。

[[222756]]

大數(shù)據(jù)分析的演變和部署障礙

盡管大數(shù)據(jù)分析采用的預測看起來很樂觀，但仍存在許多持續(xù)性的問題，使用戶試圖最大限度地利用這些技術的投資價值受到挫折。其中最主要的是：

過于復雜。大數(shù)據(jù)分析環(huán)境和應用程序仍然過于復雜。供應商需要繼續(xù)簡化這些環(huán)境的接口、體系結(jié)構(gòu)、功能和工具。這樣做會將復雜的大數(shù)據(jù)分析功能應用于主流用戶和開發(fā)人員，其中許多人都是缺乏具備必要專業(yè)技能的內(nèi)部IT人員。

繁瑣的開銷。對于一些IT專業(yè)人員來說，大數(shù)據(jù)分析管理和治理流程仍然過于孤立，成本高昂且效率低下。供應商需要構(gòu)建預先打包的工作流程，幫助大型專業(yè)人員團隊更有效、快速和準確地管理數(shù)據(jù)、元數(shù)據(jù)、分析和服務定義。

加強管道的自動化處理。大數(shù)據(jù)分析應用程序開發(fā)和運營管道仍然過于耗時，并耗費人力。供應商需要加強其工具的自動化功能，以確保提高用戶技術人員的生產(chǎn)力，同時確保即使是技能較低的人員也能處理復雜的任務。

自定義應用程序。大數(shù)據(jù)分析專業(yè)服務對于開發(fā)、部署和管理許多自定義應用程序仍然至關重要。這對于跨越混合云的數(shù)據(jù)驅(qū)動型應用程序，涉及不同的平臺和工具，以及納入難以理解的復雜數(shù)據(jù)流程尤其如此。供應商需要為常用的大數(shù)據(jù)分析應用程序加強預先打包的應用程序內(nèi)容，同時為用戶提供自助服務的可視化工具，用于指定復雜的業(yè)務邏輯，而無需外部幫助。

對于企業(yè)IT團隊來說，Wikibon團隊的主要建議是開始將更多的大數(shù)據(jù)分析開發(fā)工作遷移到公共云環(huán)境中。這將加速企業(yè)利用AWS、微軟、谷歌、IBM和其他公共云提供商提供的快速成熟、成本低廉產(chǎn)品的能力。企業(yè)應該考慮構(gòu)建自己的混合云，以確保在未來幾年內(nèi)將其業(yè)務順利過渡到公共云。