一、大數(shù)據(jù)出現(xiàn)的背景

進入2012年，大數(shù)據(jù)(big data)一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。它已經(jīng)上過《紐約時報》《華爾街日報》的專欄封面，進入美國白宮官網(wǎng)的新聞，現(xiàn)身在國內(nèi)一些互聯(lián)網(wǎng)主題的講座沙龍中，甚至被嗅覺靈敏的證券公司等寫進了投資推薦報告。

數(shù) 據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然現(xiàn)在企業(yè)可能并沒有意識到數(shù)據(jù)爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識 到數(shù)據(jù)對企業(yè)的重要性。大數(shù)據(jù)時代對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了***的空間與潛力。

最 早提出大數(shù)據(jù)時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的 挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。”“大數(shù)據(jù)”在物理學、生物學、環(huán)境生態(tài)學等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時日， 卻因為近年來互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。

大數(shù)據(jù)在互聯(lián)網(wǎng)行業(yè)指的是這樣一種現(xiàn)象：互聯(lián)網(wǎng)公司在日常運營中生成、累積的用戶網(wǎng)絡行為數(shù)據(jù)。這些數(shù)據(jù)的規(guī)模是如此龐大，以至于不能用G或T來衡量，大數(shù)據(jù)的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T)。

#p#

二、什么是大數(shù)據(jù)？

信息技術(shù)領(lǐng)域原先已經(jīng)有“海量數(shù)據(jù)”、“大規(guī)模數(shù)據(jù)”等概念，但這些概念只著眼于數(shù)據(jù)規(guī)模本身，未能充分反映數(shù)據(jù)爆發(fā)背景下的數(shù)據(jù)處理與應用需求，而“大數(shù)據(jù)”這一新概念不僅指規(guī)模龐大的數(shù)據(jù)對象，也包含對這些數(shù)據(jù)對象的處理和應用活動，是數(shù)據(jù)對象、技術(shù)與應用三者的統(tǒng)一。

1、大數(shù)據(jù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)對象既可能是實際的、有限的數(shù)據(jù)集合，如某個政府部門或企業(yè)掌握的數(shù)據(jù)庫，也可能是虛擬的、無限的數(shù)據(jù)集合，如微博、微信、社交網(wǎng)絡上的全部信息。

大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。從數(shù)據(jù)的類別上看，“大數(shù)據(jù)”指的是無法使用傳統(tǒng)流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶采用非傳統(tǒng)處理方法的數(shù)據(jù)集。

亞馬遜網(wǎng)絡服務(AWS)、 大數(shù)據(jù)科學家JohnRauser提到一個簡單的定義：大數(shù)據(jù)就是任何超過了一臺計算機處理能力的龐大數(shù)據(jù)量。研發(fā)小組對大數(shù)據(jù)的定義：“大數(shù)據(jù)是***的 宣傳技術(shù)、是最時髦的技術(shù)，當這種現(xiàn)象出現(xiàn)時，定義就變得很混亂。”Kelly說：“大數(shù)據(jù)是可能不包含所有的 信息，但我覺得大部分是正確的。對大數(shù)據(jù)的一部分認知在于，它是如此之大，分析它需要多個工作負載，這是AWS的定義。

2、大數(shù)據(jù)技術(shù)，是指從各種各樣類型的大數(shù)據(jù)中，快速獲得有價值信息的技術(shù)的能力，包括數(shù)據(jù)采集、存儲、管理、分析挖掘、可視化等技術(shù)及其集成。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫，云計算平臺，互聯(lián)網(wǎng)，和可擴展的存儲系統(tǒng)。

3、大數(shù)據(jù)應用，是 指對特定的大數(shù)據(jù)集合，集成應用大數(shù)據(jù)技術(shù)，獲得有價值信息的行為。對于不同領(lǐng)域、不同企業(yè)的不同業(yè)務，甚至同一領(lǐng)域不同企業(yè)的相同業(yè)務來說，由于其業(yè)務 需求、數(shù)據(jù)集合和分析挖掘目標存在差異，所運用的大數(shù)據(jù)技術(shù)和大數(shù)據(jù)信息系統(tǒng)也可能有著相當大的不同。惟有堅持“對象、技術(shù)、應用”三位一體同步發(fā)展，才 能充分實現(xiàn)大數(shù)據(jù)的價值。

當你的技術(shù)達到極限時，也就是數(shù)據(jù)的極限”。大數(shù)據(jù)不是關(guān)于如何定義，最重要的是如何使用。***的挑戰(zhàn)在于哪些技術(shù)能更好的使用數(shù)據(jù)以及大數(shù)據(jù)的應用情況如何。這與傳統(tǒng)的數(shù)據(jù)庫相比，開源的大數(shù)據(jù)分析工具的如Hadoop的崛起，這些非結(jié)構(gòu)化的數(shù)據(jù)服務的價值在哪里。

#p#

三、大數(shù)據(jù)的類型和價值挖掘方法

1、大數(shù)據(jù)的類型大致可分為三類：

1)傳統(tǒng)企業(yè)數(shù)據(jù)（Traditionalenterprisedata）：包括 CRM systems的消費者數(shù)據(jù)，傳統(tǒng)的ERP數(shù)據(jù)，庫存數(shù)據(jù)以及賬目數(shù)據(jù)等。

2)機器和傳感器數(shù)據(jù)（Machine-generated/sensor data）：包括呼叫記錄（CallDetail Records），智能儀表，工業(yè)設備傳感器，設備日志（通常是Digital exhaust），交易數(shù)據(jù)等。

3)社交數(shù)據(jù)（Socialdata）：包括用戶行為記錄，反饋數(shù)據(jù)等。如Twitter，F(xiàn)acebook這樣的社交媒體平臺。

2、大數(shù)據(jù)挖掘商業(yè)價值的方法主要分為四種：

1)客戶群體細分，然后為每個群體量定制特別的服務。

2)模擬現(xiàn)實環(huán)境，發(fā)掘新的需求同時提高投資的回報率。

3)加強部門聯(lián)系，提高整條管理鏈條和產(chǎn)業(yè)鏈條的效率。

4)降低服務成本，發(fā)現(xiàn)隱藏線索進行產(chǎn)品和服務的創(chuàng)新。

#p#

四、大數(shù)據(jù)的特點

業(yè)界通常用4個V(即Volume、Variety、Value、Velocity)來概括大數(shù)據(jù)的特征。具體來說，大數(shù)據(jù)具有4個基本特征：

1、是數(shù)據(jù)體量巨大

數(shù) 據(jù)體量(volumes)大，指代大型數(shù)據(jù)集，一般在10TB規(guī)模左右，但在實際應用中，很多企業(yè)用戶把多個數(shù)據(jù)集放在一起，已經(jīng)形成了PB級的數(shù)據(jù)量; 百度資料表明，其新首頁導航每天需要提供的數(shù)據(jù)超過1.5PB（1PB=1024TB），這些數(shù)據(jù)如果打印出來將超過5千億張A4紙。有資料證實，到目前 為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量僅為200PB。

2、是數(shù)據(jù)類別大和類型多樣

數(shù)據(jù)類別(variety)大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化 數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。現(xiàn)在的數(shù)據(jù)類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據(jù)，個性化數(shù)據(jù)占絕對多數(shù)。

3、是處理速度快

在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實時處理。數(shù)據(jù)處理遵循“1秒定律”，可從各種類型的數(shù)據(jù)中快速獲得高價值的信息。

4、是價值真實性高和密度低

數(shù)據(jù)真實性(Veracity)高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應用數(shù)據(jù)等新數(shù)據(jù)源的興趣，傳統(tǒng)數(shù)據(jù)源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實性及安全性。以視頻為例，一小時的視頻，在不間斷的監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。

#p#

五、大數(shù)據(jù)的作用

1、對大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應用的結(jié)點

移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡、數(shù)字家庭、電子商務等是新一代信息技術(shù)的應用形態(tài)，這些應用不斷產(chǎn)生大數(shù)據(jù)。云計算為這些海量、多樣化的大數(shù)據(jù)提供存儲和運算平臺。通過對不同來源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結(jié)果反饋到上述應用中，將創(chuàng)造出巨大的經(jīng)濟和社會價值。

大數(shù)據(jù)具有催生社會變革的能量。但釋放這種能量，需要嚴謹?shù)臄?shù)據(jù)治理、富有洞見的數(shù)據(jù)分析和激發(fā)管理創(chuàng)新的環(huán)境(Ramayya Krishnan,卡內(nèi)基·梅隆大學海因茲學院院長)。

2、大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長的新引擎

面向大數(shù)據(jù)市場的新技術(shù)、新產(chǎn)品、新服務、新業(yè)態(tài)會不斷涌現(xiàn)。在硬件與集成設備領(lǐng)域，大數(shù)據(jù)將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲處理服務器、內(nèi)存計算等市場。在軟件與服務領(lǐng)域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術(shù)和軟件產(chǎn)品的發(fā)展。

3、大數(shù)據(jù)利用將成為提高核心競爭力的關(guān)鍵因素

各 行各業(yè)的決策正在從“業(yè)務驅(qū)動” 轉(zhuǎn)變“數(shù)據(jù)驅(qū)動”。對大數(shù)據(jù)的分析可以使零售商實時掌握市場動態(tài)并迅速做出應對；可以為商家制定更加精準有效的營銷策略提供決策支持；可以幫助企業(yè)為消費 者提供更加及時和個性化的服務；在醫(yī)療領(lǐng)域，可提高診斷準確性和藥物有效性；在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也開始發(fā)揮促進經(jīng)濟發(fā)展、維護社會穩(wěn)定等方面的重要作 用。

4、大數(shù)據(jù)時代科學研究的方法手段將發(fā)生重大改變

例如，抽樣調(diào)查是社會科學的基本研究方法。在大數(shù)據(jù)時代，可通過實時監(jiān)測、跟蹤研究對象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進行挖掘分析，揭示出規(guī)律性的東西，提出研究結(jié)論和對策。

#p#

六、大數(shù)據(jù)的商業(yè)價值

1、對顧客群體細分

“大數(shù)據(jù)”可以對顧客群體細分，然后對每個群體量體裁衣般的采取獨特的行動。瞄準特定的顧客群體來進行營銷和服務是商家一直以來的追求。云存儲的海量數(shù)據(jù)和“大數(shù)據(jù)”的分析技術(shù)使得對消費者的實時和極端的細分有了成本效率極高的可能。

2、模擬實境

運用“大數(shù)據(jù)”模擬實境，發(fā)掘新的需求和提高投入的回報率。現(xiàn)在越來越多的產(chǎn)品中都裝有傳感器，汽車和智能手機的普及使得可收集數(shù)據(jù)呈現(xiàn)爆炸性增長。Blog、Twitter、Facebook和微博等社交網(wǎng)絡也在產(chǎn)生著海量的數(shù)據(jù)。

云 計算和“大數(shù)據(jù)”分析技術(shù)使得商家可以在成本效率較高的情況下，實時地把這些數(shù)據(jù)連同交易行為的數(shù)據(jù)進行儲存和分析。交易過程、產(chǎn)品使用和人類行為都可以 數(shù)據(jù)化。“大數(shù)據(jù)”技術(shù)可以把這些數(shù)據(jù)整合起來進行數(shù)據(jù)挖掘，從而在某些情況下通過模型模擬來判斷不同變量(比如不同地區(qū)不同促銷方案)的情況下何種方案 投入回報***。

3、提高投入回報率

提高“大數(shù)據(jù)”成果在各相關(guān)部門的分享程度，提高整個管理鏈條和產(chǎn)業(yè)鏈條的投入回報率。“大數(shù)據(jù)”能力強的部門可以通過云計算、互聯(lián)網(wǎng)和內(nèi)部搜索引擎把”大數(shù)據(jù)”成果和“大數(shù)據(jù)”能力比較薄弱的部門分享，幫助他們利用“大數(shù)據(jù)”創(chuàng)造商業(yè)價值。

4、數(shù)據(jù)存儲空間出租

企 業(yè)和個人有著海量信息存儲的需求，只有將數(shù)據(jù)妥善存儲，才有可能進一步挖掘其潛在價值。具體而言，這塊業(yè)務模式又可以細分為針對個人文件存儲和針對企業(yè)用 戶兩大類。主要是通過易于使用的API，用戶可以方便地將各種數(shù)據(jù)對象放在云端，然后再像使用水、電一樣按用量收費。目前已有多個公司推出相應服務，如亞 馬遜、網(wǎng)易、諾基亞等。運營商也推出了相應的服務，如中國移動的彩云業(yè)務。

5、管理客戶關(guān)系

客 戶管理應用的目的是根據(jù)客戶的屬性(包括自然屬性和行為屬性)，從不同角度深層次分析客戶、了解客戶，以此增加新的客戶、提高客戶的忠誠度、降低客戶流失 率、提高客戶消費等。對中小客戶來說，專門的CRM顯然大而貴。不少中小商家將飛信作為初級CRM來使用。比如把老客戶加到飛信群里，在群朋友圈里發(fā)布新 產(chǎn)品預告、特價銷售通知，完成售前售后服務等。

6、個性化精準推薦

在 運營商內(nèi)部，根據(jù)用戶喜好推薦各類業(yè)務或應用是常見的，比如應用商店軟件推薦、IPTV視頻節(jié)目推薦等，而通過關(guān)聯(lián)算法、文本摘要抽取、情感分析等智能分 析算法后，可以將之延伸到商用化服務，利用數(shù)據(jù)挖掘技術(shù)幫助客戶進行精準營銷，今后盈利可以來自于客戶增值部分的分成。

以日常的“垃圾短信”為例，信息并不都是“垃圾”，因為收到的人并不需要而被視為垃圾。通過用戶行為數(shù)據(jù)進行分析后，可以給需要的人發(fā)送需要的信息，這樣“垃圾短信”就成了有價值的信息。在日本的麥當勞，用戶在手機上下載優(yōu)惠券，再去餐廳用運營商DoCoMo的手機錢包優(yōu)惠支付。運營商和麥當勞搜集相關(guān)消費信息，例如經(jīng)常買什么漢堡，去哪個店消費，消費頻次多少，然后精準推送優(yōu)惠券給用戶。

7、數(shù)據(jù)搜索

數(shù)據(jù)搜索是一個并不新鮮的應用，隨著“大數(shù)據(jù)”時代的到來，實時性、全范圍搜索的需求也就變得越來越強烈。我們需要能搜索各種社交網(wǎng)絡、用戶行為等數(shù)據(jù)。其商業(yè)應用價值是將實時的數(shù)據(jù)處理與分析和廣告聯(lián)系起來，即實時廣告業(yè)務和應用內(nèi)移動廣告的社交服務。

運營商掌握的用戶網(wǎng)上行為信息，使得所獲取的數(shù)據(jù)“具備更全面維度”，更具商業(yè)價值。典型應用如中國移動的“盤古搜索”。

#p#

七、大數(shù)據(jù)對經(jīng)濟社會的重要影響

1、能夠推動實現(xiàn)巨大經(jīng)濟效益

比如對中國零售業(yè)凈利潤增長的貢獻，降低制造業(yè)產(chǎn)品開發(fā)、組裝成本等。預計2013年全球大數(shù)據(jù)直接和間接拉動信息技術(shù)支出將達1200億美元。

2、能夠推動增強社會管理水平

大數(shù)據(jù)在公共服務領(lǐng)域的應用，可有效推動相關(guān)工作開展，提高相關(guān)部門的決策水平、服務效率和社會管理水平，產(chǎn)生巨大社會價值。歐洲多個城市通過分析實時采集的交通流量數(shù)據(jù)，指導駕車出行者選擇***路徑，從而改善城市交通狀況。

3、如果沒有高性能的分析工具，大數(shù)據(jù)的價值就得不到釋放

對大數(shù)據(jù)應用必須保持清醒認識，既不能迷信其分析結(jié)果，也不能因為其不完全準確而否定其重要作用。

1) 由于各種原因，所分析處理的數(shù)據(jù)對象中不可避免地會包括各種錯誤數(shù)據(jù)、無用數(shù)據(jù)，加之作為大數(shù)據(jù)技術(shù)核心的數(shù)據(jù)分析、人工智能等技術(shù)尚未完全成熟，所以對 計算機完成的大數(shù)據(jù)分析處理的結(jié)果，無法要求其完全準確。例如，谷歌通過分析億萬用戶搜索內(nèi)容能夠比專業(yè)機構(gòu)更快地預測流感暴發(fā)，但由于微博上無用信息的 干擾，這種預測也曾多次出現(xiàn)不準確的情況。

2)必須清楚定位的是，大數(shù)據(jù)作用與價值的重點在于能夠引導和啟發(fā)大數(shù)據(jù)應用者的創(chuàng)新思維，輔助決策。簡單而言，若是處理一個問題，通常人能夠想到一種方法，而大數(shù)據(jù)能夠提供十種參考方法，哪怕其中只有三種可行，也將解決問題的思路拓展了三倍。

所以，客觀認識和發(fā)揮大數(shù)據(jù)的作用，不夸大、不縮小，是準確認知和應用大數(shù)據(jù)的前提。

#p#

八、總結(jié)

不管大數(shù)據(jù)的核心價值是不是預測，但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來了盈利和聲譽。

1、從大數(shù)據(jù)的價值鏈條來分析，存在三種模式：

1)手握大數(shù)據(jù)，但是沒有利用好；比較典型的是金融機構(gòu)，電信行業(yè)，政府機構(gòu)等。

2)沒有數(shù)據(jù)，但是知道如何幫助有數(shù)據(jù)的人利用它；比較典型的是IT咨詢和服務企業(yè)，比如，埃森哲，IBM，Oracle等。

3)既有數(shù)據(jù)，又有大數(shù)據(jù)思維；比較典型的是Google，Amazon，Mastercard等。

2、未來在大數(shù)據(jù)領(lǐng)域***有價值的是兩種事物：

1)擁有大數(shù)據(jù)思維的人，這種人可以將大數(shù)據(jù)的潛在價值轉(zhuǎn)化為實際利益；

2)還未有被大數(shù)據(jù)觸及過的業(yè)務領(lǐng)域。這些是還未被挖掘的油井，金礦，是所謂的藍海。

大 數(shù)據(jù)是信息技術(shù)與專業(yè)技術(shù)、信息技術(shù)產(chǎn)業(yè)與各行業(yè)領(lǐng)域緊密融合的典型領(lǐng)域，有著旺盛的應用需求、廣闊的應用前景。為把握這一新興領(lǐng)域帶來的新機遇，需要不 斷跟蹤研究大數(shù)據(jù)，不斷提升對大數(shù)據(jù)的認知和理解，堅持技術(shù)創(chuàng)新與應用創(chuàng)新的協(xié)同共進，加快經(jīng)濟社會各領(lǐng)域的大數(shù)據(jù)開發(fā)與利用，推動國家、行業(yè)、企業(yè)對于 數(shù)據(jù)的應用需求和應用水平進入新的階段。