由于關(guān)注的重心從我們收集數(shù)據(jù)的方式轉(zhuǎn)向?qū)崟r(shí)處理數(shù)據(jù)，大數(shù)據(jù)時(shí)代即將終結(jié)。大數(shù)據(jù)現(xiàn)在是支持多云、機(jī)器學(xué)習(xí)和實(shí)時(shí)分析這幾個(gè)新時(shí)代的業(yè)務(wù)資產(chǎn)。

大數(shù)據(jù)時(shí)代生于2006年4月1日，卒于2019年6月5日 

大數(shù)據(jù)時(shí)代終結(jié)于2019年6月5日，當(dāng)時(shí)Tom Reilly宣布即將從Cloudera辭職，隨后該公司市值應(yīng)聲下跌。加上MapR前不久宣布將于6月下旬關(guān)門大吉——這將取決于MapR能否找到買家來(lái)繼續(xù)運(yùn)營(yíng)，2019年6月表明了這個(gè)事實(shí)：Hadoop推動(dòng)的大數(shù)據(jù)這個(gè)早期時(shí)代已宣告結(jié)束。大數(shù)據(jù)會(huì)因在這幾方面起到的作用而被世人銘記：促使社交媒體開(kāi)始占主導(dǎo)地位，從根本上改變企業(yè)在處理多出好幾個(gè)數(shù)量級(jí)的數(shù)據(jù)方面的理念，以及澄清分析數(shù)據(jù)、數(shù)據(jù)質(zhì)量和數(shù)據(jù)治理的價(jià)值，不斷評(píng)估作為企業(yè)資產(chǎn)的數(shù)據(jù)。

如果為大數(shù)據(jù)時(shí)代擬寫某種意義上的悼詞時(shí)，必須要強(qiáng)調(diào)一下：大數(shù)據(jù)技術(shù)實(shí)際上并沒(méi)“死”，但第一代基于Hadoop的大數(shù)據(jù)已達(dá)到成熟的程度，它已在企業(yè)數(shù)據(jù)界確立了穩(wěn)固的角色。大數(shù)據(jù)不再是無(wú)限增長(zhǎng)的炒作周期的一部分，而是一種老牌技術(shù)。 

大數(shù)據(jù)的誕生

大數(shù)據(jù)時(shí)代始于ApacheHadoop在2006年的亮相，開(kāi)發(fā)人員和架構(gòu)師將此工具視為有助于處理和存儲(chǔ)多結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。企業(yè)在數(shù)據(jù)方面的理念發(fā)生了根本性轉(zhuǎn)變，并不僅限于傳統(tǒng)企業(yè)數(shù)據(jù)庫(kù)的ACID(原子性、一致性、隔離性和持久性)，導(dǎo)致數(shù)據(jù)使用場(chǎng)合發(fā)生了變化，許多公司意識(shí)到以前丟棄或保存在靜態(tài)歸檔中的數(shù)據(jù)實(shí)際上有助于了解客戶行為、采取行動(dòng)的傾向、風(fēng)險(xiǎn)因素以及復(fù)雜的組織、環(huán)境和商業(yè)行為。Cloudera這款商業(yè)發(fā)行版推出后，Hadoop的商業(yè)價(jià)值在2009年開(kāi)始得到確立，MapR、Hortonworks和EMC Greenplum(現(xiàn)在的Pivotal HD)緊隨其后。雖然分析師們預(yù)測(cè)大數(shù)據(jù)這個(gè)潛在市場(chǎng)的規(guī)模高達(dá)500億美元或更多，但Hadoop這種分析工具最終在最近十年受到了質(zhì)疑。

Hadoop在企業(yè)界面臨的挑戰(zhàn)

雖然Hadoop在通過(guò)批處理支持大型存儲(chǔ)和ETL(提取、轉(zhuǎn)換和加載)作業(yè)以及支持機(jī)器學(xué)習(xí)任務(wù)方面大有價(jià)值，但它在支持公司和大型組織用來(lái)管理日常運(yùn)營(yíng)的較為傳統(tǒng)的分析工作方面并非最佳選擇。Hive、Dremel和Spark等工具在Hadoop上面使用以支持分析，但Hadoop從未變得足夠快，無(wú)法真正取代數(shù)據(jù)倉(cāng)庫(kù)。

Hadoop還面臨這樣的挑戰(zhàn)：NoSQL數(shù)據(jù)庫(kù)和對(duì)象存儲(chǔ)提供商在解決Hadoop最初旨在幫助解決的部分存儲(chǔ)和管理難題方面取得了進(jìn)展。隨著時(shí)間的推移，在Hadoop上支持業(yè)務(wù)連續(xù)性面臨挑戰(zhàn)，加上支持實(shí)時(shí)、地理空間及其他新興的分析使用場(chǎng)合方面缺乏靈活性，這使得Hadoop面對(duì)海量數(shù)據(jù)時(shí)很難在批處理之外大有作為。

此外，久而久之，許多公司開(kāi)始發(fā)現(xiàn)大數(shù)據(jù)難題越來(lái)越與此有關(guān)：支持一系列廣泛的數(shù)據(jù)源，并迅速調(diào)整數(shù)據(jù)模式、查詢、定義和上下文，新的應(yīng)用程序、平臺(tái)和云基礎(chǔ)設(shè)施供應(yīng)商就體現(xiàn)了這一點(diǎn)。為了克服這個(gè)挑戰(zhàn)，分析、集成和復(fù)制就必須變得更敏捷更快速。許多供應(yīng)商紛紛創(chuàng)辦就體現(xiàn)了這個(gè)挑戰(zhàn)，包括：

• 分析解決方案：比如ClearStory Data、Domo、Incorta、Looker、FineBI、Microsoft Power BI、Qlik、Sisense、Tableau和ThoughtSpot
• 數(shù)據(jù)管道供應(yīng)商：比如Alooma、Attunity、Alteryx、Fivetran和Matillion
• 數(shù)據(jù)集成供應(yīng)商：包括Informatica、MuleSoft、SnapLogic、Talend和TIBCO(后者還憑借其Spotfire產(chǎn)品組合角逐分析領(lǐng)域)。

如果從收購(gòu)或融資的角度來(lái)看，許多這些公司似乎都備受矚目，這絕非巧合。最近的例子包括但不限于：

• ThoughtSpot在2018年5月完成1.45億美元的D輪融資
• Sisense在2018年9月完成8000萬(wàn)美元的E輪融資
• Incorta在2018年10月完成1500萬(wàn)美元的B輪融資
• Fivetran在2018年12月完成1500萬(wàn)美元的A輪融資
• Looker在2018年12月完成1.03億美元的E輪融資
• TIBCO在2018年12月收購(gòu)Orchestra Networks
• Logi Analytics在2019年2月收購(gòu)Jinfonet
• 谷歌在2019年2月收購(gòu)Alooma
• Qlik在2019年2月收購(gòu)Attunity
• Informatica在2019年2月收購(gòu)AllSight
• TIBCO在2019年3月收購(gòu)SnappyData
• Alteryx在2019年4月收購(gòu)ClearStory Data
• Matillion在2019年6月完成3500萬(wàn)美元的C輪融資
• 谷歌在2019年6月斥資26億美元收購(gòu)Looker
• Salesforce在2019年6月斥資157億美元收購(gòu)Tableau
• Logi Analytics在2019年6月收購(gòu)Zoomdata

這些解決方案的成功表明了日益需要分析師、數(shù)據(jù)和平臺(tái)靈活性，以便面對(duì)諸多云和數(shù)據(jù)源改進(jìn)數(shù)據(jù)的上下文分析價(jià)值。2019年會(huì)更鬧猛，因?yàn)槠渲性S多公司歸私募股權(quán)公司所有，或者已獲得大量的風(fēng)投資金，需要盡快成功退出，幫助資助未來(lái)的風(fēng)投基金。

隨著大數(shù)據(jù)的消逝，我們進(jìn)入到了后大數(shù)據(jù)時(shí)代，包括多云時(shí)代、機(jī)器學(xué)習(xí)時(shí)代以及實(shí)時(shí)和無(wú)處不在的上下文時(shí)代。

多云時(shí)代恰恰表明日益需要基于現(xiàn)有的各種應(yīng)用系統(tǒng)跨多云支持應(yīng)用軟件和平臺(tái)，也日益需要支持持續(xù)交付和業(yè)務(wù)連續(xù)性。“某項(xiàng)任務(wù)有一個(gè)應(yīng)用軟件”這種觀念導(dǎo)致了企業(yè)中每個(gè)員工平均有一個(gè)SaaS應(yīng)用軟件的業(yè)務(wù)環(huán)境，這意味著每家大企業(yè)在為數(shù)千個(gè)SaaS應(yīng)用軟件支持?jǐn)?shù)據(jù)和流量。后端容器化這個(gè)趨勢(shì)導(dǎo)致支持按需和峰值使用環(huán)境的存儲(chǔ)和工作負(fù)載環(huán)境日益分散化和專業(yè)化。

機(jī)器學(xué)習(xí)時(shí)代專注于分析模型、算法、模型訓(xùn)練、深度學(xué)習(xí)以及算法和深度學(xué)習(xí)技術(shù)的倫理。機(jī)器學(xué)習(xí)需要處理創(chuàng)建干凈數(shù)據(jù)供分析所用所需的大量相同工作，但還需要另外的數(shù)學(xué)、業(yè)務(wù)和倫理上下文以創(chuàng)建持久的長(zhǎng)期價(jià)值。

實(shí)時(shí)和無(wú)處不在的上下文恰恰表明，從分析的角度和交互的角度來(lái)看，日益需要及時(shí)的更新。從分析的角度來(lái)看，公司分析處理僅僅每周更新一次或每天更新一次已不夠。員工現(xiàn)在需要近乎實(shí)時(shí)的更新，否則有可能做出糟糕的公司決策，這些決策在制定的那一刻就已過(guò)時(shí)或落伍了。有效使用實(shí)時(shí)分析需要廣泛的業(yè)務(wù)數(shù)據(jù)，以提供適當(dāng)?shù)恼w上下文以及供針對(duì)數(shù)據(jù)按需執(zhí)行的分析所用。無(wú)處不在還表明了交互的興起，包括物聯(lián)網(wǎng)提供表明環(huán)境和機(jī)械活動(dòng)的更多邊緣觀察信息，以及仍在發(fā)展中的擴(kuò)展現(xiàn)實(shí)(Extended Reality，包括增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí))提供身臨其境的體驗(yàn)。為了提供這種級(jí)別的交互，必須以交互的速度分析數(shù)據(jù)，可能短至300-500毫秒，以提供有效的行為反饋。

隨著大數(shù)據(jù)時(shí)代走到盡頭，我們現(xiàn)在可以少關(guān)注收集大量數(shù)據(jù)的機(jī)制，多關(guān)注處理、分析海量數(shù)據(jù)并與之實(shí)時(shí)交互方面的無(wú)數(shù)挑戰(zhàn)。我們邁入大數(shù)據(jù)驅(qū)動(dòng)的新時(shí)代時(shí)，請(qǐng)牢記以下幾個(gè)概念。

首先，Hadoop在企業(yè)數(shù)據(jù)界仍占有一席之地。Amalgam Insights預(yù)計(jì)，MapR最終會(huì)被一家以管理IT軟件出名的公司收購(gòu)，比如BMC、冠群或MicroFocus;并認(rèn)為Cloudera已采取了措施，不僅限于企業(yè)Hadoop，以支持?jǐn)?shù)據(jù)的下幾個(gè)時(shí)代。但技術(shù)的步伐不可阻擋，Cloudera的問(wèn)題在于它的行動(dòng)是否夠快、隨勢(shì)而變。Cloudera在將其企業(yè)數(shù)據(jù)平臺(tái)完善成下一代洞察力和機(jī)器學(xué)習(xí)平臺(tái)方面面臨數(shù)字化轉(zhuǎn)型挑戰(zhàn)。過(guò)去幾十年，公司能夠?yàn)檗D(zhuǎn)型敲定時(shí)間表。現(xiàn)在正如我們從亞馬遜、Facebook和微軟等公司看到的那樣，僅僅為了活命，成功的科技公司必須準(zhǔn)備好每十年就要轉(zhuǎn)型，可能甚至犧牲掉自己的部分業(yè)務(wù)。

其次，對(duì)多云分析和數(shù)據(jù)可視化的需求比以往任何時(shí)候都要大。谷歌和Salesforce剛斥資180億美元收購(gòu)了Looker和Tableau，那些收購(gòu)基本上是針對(duì)頗具規(guī)模和收入增長(zhǎng)的公司的市場(chǎng)價(jià)值收購(gòu)。會(huì)投入更多的巨額資金，以克服這一挑戰(zhàn)：針對(duì)眾多數(shù)據(jù)源提供分析技術(shù)，并支持與多云有關(guān)的日益分散且多樣的存儲(chǔ)、計(jì)算和集成需求。這意味著企業(yè)需要慎重地搞清楚數(shù)據(jù)集成、數(shù)據(jù)建模、分析及/或機(jī)器學(xué)習(xí)/數(shù)據(jù)科學(xué)團(tuán)隊(duì)可以在多大程度上應(yīng)對(duì)這個(gè)挑戰(zhàn)，因?yàn)樘幚砗头治霎悩?gòu)數(shù)據(jù)變得越來(lái)越困難、復(fù)雜，但要支持戰(zhàn)略業(yè)務(wù)需求并將數(shù)據(jù)用作真正的戰(zhàn)略優(yōu)勢(shì)又勢(shì)必需要這么做。而僅看國(guó)內(nèi)發(fā)展，企業(yè)對(duì)多云分析和數(shù)據(jù)可視化的需求也是一樣劇增。2006年成立的國(guó)產(chǎn)BI軟件廠商帆軟軟件自2016年300人左右的團(tuán)隊(duì)短短三年內(nèi)成長(zhǎng)到現(xiàn)在的1100余人，據(jù)知為了應(yīng)對(duì)更多的市場(chǎng)需求其團(tuán)隊(duì)還在不斷擴(kuò)大。這樣的成長(zhǎng)速度源自市場(chǎng)需求的增多和帆軟對(duì)于市場(chǎng)需求走勢(shì)的判斷。

第三，機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)是下一代分析技術(shù)，需要各自做好新的數(shù)據(jù)管理工作。大規(guī)模創(chuàng)建測(cè)試數(shù)據(jù)、合成數(shù)據(jù)和掩蔽數(shù)據(jù)，以及數(shù)據(jù)沿襲、治理、參數(shù)和超參數(shù)定義以及算法假設(shè)，這些都超出了傳統(tǒng)大數(shù)據(jù)假設(shè)的范疇。這里最重要的考量因素是，使用由于種種原因未能很好地服務(wù)于企業(yè)的數(shù)據(jù)：樣本量小、缺乏數(shù)據(jù)源、數(shù)據(jù)定義不清晰、數(shù)據(jù)上下文不明確，或者算法和分類假設(shè)不準(zhǔn)確。換句話說(shuō)，不使用失實(shí)的數(shù)據(jù)。失實(shí)的數(shù)據(jù)會(huì)導(dǎo)致有偏見(jiàn)、不合規(guī)、不準(zhǔn)確的結(jié)果，還可能導(dǎo)致諸多問(wèn)題：比如Nick Leeson在1995年導(dǎo)致巴林銀行(BaringsBank)垮臺(tái)，或法國(guó)興業(yè)銀行因Jerome Kerviel精心操縱交易而蒙受70億美元的交易損失。AI現(xiàn)在是新的潛在“流氓交易者”，需要得到適當(dāng)?shù)闹卫怼⒐芾砗椭С帧?/p>

第四，需要將實(shí)時(shí)和無(wú)處不在的上下文既視為協(xié)作和技術(shù)上的挑戰(zhàn)，又視為數(shù)據(jù)挑戰(zhàn)。我們正進(jìn)入這樣一個(gè)世界：每個(gè)對(duì)象、流程和對(duì)話都可以用附加的上下文加以標(biāo)記、標(biāo)注或增強(qiáng)，可以實(shí)時(shí)處理數(shù)GB的數(shù)據(jù)，以生成簡(jiǎn)單的兩個(gè)單詞警報(bào)，可能就像“減慢速度”或“立即購(gòu)買”這么簡(jiǎn)單。我們看到“數(shù)字孿生”(digital twin)這個(gè)概念方興未艾：在工業(yè)界，PTC、GE及其他產(chǎn)品生命周期和制造公司為設(shè)備創(chuàng)建數(shù)字孿生;而在銷售界，Gong、Tact和Voicera等公司借助額外的上下文以數(shù)字方式記錄、分析和增強(qiáng)模擬對(duì)話。

結(jié)論

因此，大數(shù)據(jù)時(shí)代已宣告結(jié)束。但在此過(guò)程中，大數(shù)據(jù)本身已成為IT的一個(gè)核心方面，并引發(fā)了一系列新時(shí)代，每個(gè)時(shí)代未來(lái)一片光明。投入于大數(shù)據(jù)的公司應(yīng)該將這些投入視作未來(lái)成為實(shí)時(shí)、增強(qiáng)和交互型互動(dòng)公司的重要基礎(chǔ)。隨著大數(shù)據(jù)時(shí)代走到盡頭，我們現(xiàn)在準(zhǔn)備將整個(gè)大數(shù)據(jù)用作業(yè)務(wù)資產(chǎn)，而不僅僅是炒作，從而支持基于作業(yè)的上下文、機(jī)器學(xué)習(xí)和實(shí)時(shí)交互。

關(guān)于國(guó)內(nèi)對(duì)大數(shù)據(jù)行業(yè)發(fā)展的討論也是一直沒(méi)有停止，而對(duì)于實(shí)時(shí)、增強(qiáng)和交互型的數(shù)據(jù)分析，對(duì)在大行業(yè)背景下小行業(yè)的場(chǎng)景化應(yīng)用，帆軟每年都會(huì)組織國(guó)內(nèi)數(shù)據(jù)行業(yè)規(guī)格最高的一場(chǎng)聽(tīng)覺(jué)盛宴，近千家企業(yè)高管參與討論。針對(duì)數(shù)據(jù)治理和準(zhǔn)備、數(shù)據(jù)挖掘、數(shù)據(jù)人才培養(yǎng)等多個(gè)部分進(jìn)行深度探討。本次大會(huì)以“數(shù)據(jù)有引力”為主題，以國(guó)內(nèi)現(xiàn)在的大行業(yè)發(fā)展為背景，真正來(lái)落地?cái)?shù)據(jù)對(duì)企業(yè)的真實(shí)價(jià)值，旨在幫助更多的企業(yè)對(duì)“已死的大數(shù)據(jù)”重新認(rèn)識(shí)，從以上四個(gè)方面來(lái)使得數(shù)據(jù)建設(shè)更加落地。