大數(shù)據(jù)，數(shù)據(jù)科學，以及分析的發(fā)展與演變在今年的Strata數(shù)據(jù)會議上得到全面展示，其中包含了一個重要的信息：人們需要獲取大數(shù)據(jù)的價值。

正如在一個數(shù)字表演節(jié)目中，人們選定的數(shù)字是83，認為這會難倒魔術(shù)師，魔術(shù)師在一個4×4矩陣填寫了16個數(shù)字，在組合之后，每行和每列之和都是83，并且數(shù)字在各行各列中沒有重復(fù)。魔術(shù)師說，“看一下這個結(jié)果。如果將每一行的所有數(shù)字相加，則它們的總和為83，每列中的數(shù)字總和也是83。事實上，每一個組合加起來都是你選的數(shù)字。”

太神奇了，對吧?這就像人們在獲得到大量數(shù)據(jù)的時候的感受——就像魔術(shù)一樣!

[[207386]]

日前在紐約舉行的Strata數(shù)據(jù)會議的展位上，Diwo公司提供了一個新的認知決策平臺。并采用了這種有趣的方式來介紹他們新的解決方案，也許在無意中會有助于大數(shù)據(jù)市場的發(fā)展。

雖然人們一直在談?wù)摯髷?shù)據(jù)，數(shù)據(jù)科學和分析已經(jīng)有了相當長一段時間，但在今年Strata數(shù)據(jù)會議的活動中，全面展現(xiàn)了市場的演變。可以看出在主題演講和展覽層面所貫穿的幾個交織的主題總結(jié)出的一個信息：現(xiàn)在是發(fā)揮大數(shù)據(jù)價值的時候了。

這些主題都涉及了一個廣泛的觀念，在現(xiàn)實生活中大規(guī)模應(yīng)用大數(shù)據(jù)，科學的數(shù)據(jù)和分析，現(xiàn)在是超越探索階段的時候了。而這樣規(guī)模的數(shù)據(jù)力量能夠改變業(yè)務(wù)模式和客戶體驗，或許讓人們對這一切感覺有點像魔術(shù)。

使大數(shù)據(jù)更加真實

大數(shù)據(jù)在大多數(shù)情況下一直是技術(shù)上關(guān)注的領(lǐng)域。雖然商業(yè)影響總是很明確，但市場的焦點主要在于實驗，以及找出如何解決大規(guī)模數(shù)據(jù)集所面臨的技術(shù)問題的辦法。

當然，大數(shù)據(jù)的成功應(yīng)用產(chǎn)生了巨大的業(yè)務(wù)成果，但市場的主要驅(qū)動力是技術(shù)開發(fā)，而不是業(yè)務(wù)應(yīng)用。然而在2017年將有一個明顯的變化。

首先，隨著行業(yè)的不斷發(fā)展，大數(shù)據(jù)的社會影響以及數(shù)據(jù)科學家和從業(yè)者必須發(fā)揮的重要作用將會顯著增加。

“數(shù)據(jù)毀滅武器：大數(shù)據(jù)如何加劇不平等并威脅民主”一文的作者，數(shù)學家Cathy O'Neil警告說：“我們還沒有制定數(shù)據(jù)科學方面的標準。而糟糕的算法可能危及人們的生命...... 這對于人工智能來說也是不公平的，它使現(xiàn)狀和所有隱含的偏差實現(xiàn)自動化。這一點需要得到承認，特別是當我們將注意力集中在那些影響人們生活的事情時。”

聯(lián)合國兒童基金會創(chuàng)新辦公室***科學家Manuel García-Herranz和美國國會圖書館創(chuàng)新者Jer Thorp也對數(shù)據(jù)對世界的正面和潛在的負面影響表示了類似的看法。

Garcia-Herranz分享了聯(lián)合國兒童基金會如何整合數(shù)據(jù)科學和實時系統(tǒng)來發(fā)現(xiàn)的見解，同時仍然可以利用這些系統(tǒng)采取有意義的行動并“為人類應(yīng)用數(shù)據(jù)”。

另一方面，Thorp警告說，人們所期望的客觀性可能阻止他們了解數(shù)據(jù)的實際功能和影響。他的建議很簡單，但卻是深刻的：“不要坐談，而是需要實踐。”

與此同時，大數(shù)據(jù)和人工智能(AI)的交叉點也在加強了企業(yè)處理大數(shù)據(jù)主動性的緊迫性。雖然大數(shù)據(jù)作為人工智能動力的本質(zhì)已經(jīng)使二者共生，但人工智能作為企業(yè)高管面臨的頭號問題，這正在使企業(yè)規(guī)模的大數(shù)據(jù)在戰(zhàn)略上占有一席之地。

實時處理大數(shù)據(jù)

將重點轉(zhuǎn)移到組織如何在現(xiàn)實世界中應(yīng)用大數(shù)據(jù)也帶來了第二個重要趨勢：實時應(yīng)用數(shù)據(jù)和分析的轉(zhuǎn)變。

越來越多的人認識到事后分析并不是唯一的大數(shù)據(jù)用例，實際上這并不是***的用例。許多組織現(xiàn)在意識到，通過在交易時應(yīng)用最終的分析和見解，他們可以利用大數(shù)據(jù)的***價值。

有了這個用例，組織不僅可以使用回顧性數(shù)據(jù)進行分析和規(guī)劃，而且可以使用它來塑造客戶體驗，更好地進行決策，并在消極結(jié)果發(fā)生之前降低風險。在交易點使用數(shù)據(jù)可以采取多種形式，應(yīng)該是任何現(xiàn)代大數(shù)據(jù)戰(zhàn)略的基本要素。

幾家科技公司已經(jīng)引入了工具和策略來幫助組織實時地整合他們從大數(shù)據(jù)計劃中獲得的見解和分析。這些包括(按字母順序)：

• Cambridge Semantics：一種基于語義關(guān)系數(shù)據(jù)模型的端到端的探索性分析解決方案，通過根據(jù)業(yè)務(wù)環(huán)境構(gòu)建數(shù)據(jù)，實現(xiàn)實時分析，并縮短上市時間。
• MapR：融合數(shù)據(jù)平臺，提供所謂的“數(shù)據(jù)結(jié)構(gòu)”，將傳統(tǒng)數(shù)據(jù)湖與流數(shù)據(jù)集成在一個單獨的，位置無關(guān)的和場景感知的平臺中。
• Splice Machine：一種應(yīng)用程序開發(fā)平臺，它創(chuàng)建一個新的“預(yù)測應(yīng)用程序”，將事務(wù)處理和分析處理合并，并將分析導(dǎo)出的洞察數(shù)據(jù)注入到應(yīng)用程序工作流程中。
• Striim：實時數(shù)據(jù)集成和流分析平臺，可在攝入時分析數(shù)據(jù)，以便通過實時洞察來支持決策。
• VoltDB：一個運行數(shù)據(jù)平臺，可提供毫秒響應(yīng)時間的實時事件處理和分析。

雖然這些技術(shù)提供商正在采用不同的方法實時應(yīng)用大數(shù)據(jù)，但每個技術(shù)提供商都向企業(yè)組織提供一個相同的信息：現(xiàn)在是使用大數(shù)據(jù)的***時機。

使大數(shù)據(jù)工作

然而，如果一個組織無法在企業(yè)級和企業(yè)運行模型中實現(xiàn)大數(shù)據(jù)的工作，那么理解大數(shù)據(jù)的實際含義并將其應(yīng)用程序轉(zhuǎn)移到交易點上就沒有任何好處。隨著組織試圖將大數(shù)據(jù)移到實驗領(lǐng)域之外，走向全面的、企業(yè)級的應(yīng)用程序，它們遇到了重要的治理、管理和規(guī)模問題。

因此，Strata會話展現(xiàn)的第三個主題是組織在企業(yè)規(guī)模上進行大數(shù)據(jù)化工作的必要性，這并不奇怪。毫無疑問，這一進程的很大一部分需要文化和組織轉(zhuǎn)型。但也很清楚，組織還必須轉(zhuǎn)變?nèi)绾螒?yīng)用技術(shù)本身，使其在一定規(guī)模中工作。

一些科技公司展示了新的技術(shù)和技術(shù)驅(qū)動的方法，他們認為這將有助于企業(yè)組織應(yīng)對大數(shù)據(jù)企業(yè)的各個方面，包括(按字母順序排列)：

• Dataguise：一個數(shù)據(jù)管理平臺，可發(fā)現(xiàn)，檢測，保護，以及監(jiān)控敏感信息，如PII，PCI和HIPPA，無論是否在組織的數(shù)據(jù)格局中。
• Dataiku：一個大數(shù)據(jù)平臺，創(chuàng)建一個單一的數(shù)據(jù)流水線，打破孤島效應(yīng)，使數(shù)據(jù)科學家和數(shù)據(jù)分析人員能夠輕松協(xié)同工作，加快預(yù)測解決方案的部署速度。
• DriveScale：一個軟件公司改變組織部署和使用所謂的“軟件可組合基礎(chǔ)架構(gòu)”的方式，以智能和高度動態(tài)的方式連接分解的組件(計算和存儲)。
• Pure Storage：高效的存儲平臺，專門用于擴展大數(shù)據(jù)部署，現(xiàn)代分析需求和人工智能。
• Zaloni：一個數(shù)據(jù)湖管理平臺，專注于幫助企業(yè)實施數(shù)據(jù)湖，并迅速獲得規(guī)模化的業(yè)務(wù)價值。

發(fā)揮大數(shù)據(jù)的價值

大數(shù)據(jù)行業(yè)核心技術(shù)面臨的挑戰(zhàn)仍然存在，并將在可預(yù)見的未來持續(xù)下去。隨著數(shù)據(jù)呈指數(shù)級增長，企業(yè)組織和服務(wù)于其的技術(shù)公司將繼續(xù)處在一場持續(xù)的戰(zhàn)斗中，使其變得易于管理。

然而，很明顯，組織現(xiàn)在正在開始認真應(yīng)對在整個企業(yè)中應(yīng)用大數(shù)據(jù)所帶來的挑戰(zhàn)，從而可以加速數(shù)字化轉(zhuǎn)型，為日益增長的人工智能提供動力。

而且很明顯，行業(yè)和企業(yè)組織都認識到，為了實現(xiàn)大數(shù)據(jù)的承諾，他們需要獲得大數(shù)據(jù)的價值。