[[323388]]

「我的女兒還是高中生，你們卻給她郵寄嬰兒服和嬰兒床的優惠券，這是在鼓勵她懷孕嗎?」

一個男子沖進一家商店，要求經理出來見他，并怒不可遏地說出了上述這句話。

幾天后，經理打電話向這個男人致歉時，他的語氣卻變得平和了起來：

「我跟我女兒談過了，她的預產期是8月份。是我完全沒有意識到這個事情的發生，說抱歉的人應該是我。」

——《大數據時代》

上面這段內容講的是美國一家零售商通過分析大量女性的消費記錄，根據購物的內容變化來推測懷孕的月份乃至預產期，據此來精準投放購物廣告。

結果表明，擁有大量數據的機器比粗心的父親更早知道女兒的身體狀況。這無疑是讓人汗顏的。

這個例子僅僅只是大數據應用的一個縮影。事實上，在這個大數據時代，萬事萬物產生的海量數據之中蘊藏著豐富的信息，把握好了就是無數的商機。

什么是大數據?

從字面的意思來看，大數據就是大量的數據。業界一般認為數據量達到普通的設備存不下，算不動的程度，就可以稱之為大數據了。

「大數據又稱為巨量資料，指的是在傳統數據處理應用軟件不足以處理的大或復雜的數據集的術語。」

—— 維基百科

「大數據是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。」

—— 百度百科

「大數據由巨型數據集組成，這些數據集大小常超出人類在可接受時間下的收集、庋用、管理和處理能力。」

—— MBA智庫

從上面的幾種定義可以看出，首先，數據量要大到常規方式無法處理的程度;再者，大數據作為信息資產，需要通過處理從中獲取價值信息。

大數據到底有多大?

普通個人電腦所能存儲的數據，一般是幾百個GB到幾個TB的級別。

例如，常見的固態硬盤，512GB就已經比較大了;常見的機械硬盤，可達1TB/2TB/4TB的容量。

表達數據容量的KB，MB，GB和TB之間的關系，大家應該都很熟悉了：

KB(Kilo Byte) — 千字節，也就是1024B

MB(Mega Byte) — 兆字節，也就是1024KB

GB(Giga Byte) — 吉字節，也就是1024MB

TB(Tera Byte) — 太字節，也就是1024GB

而大數據是什么級別呢?PB/EB級別。其實就是在TB的基礎上每一級接著乘以1024。

PB(Peta Byte) — 皮字節，也就是1024TB

EB(Exa Byte) — 艾字節，也就是1024PB

ZB(Zetta Byte) — 澤字節，也就是1024EB

YB(Yotta Byte) — 堯字節，也就是1024ZB

上述的這些大的單位在日常生活中幾乎接觸不到，而且常人也已經無法直觀地感受到這些單位能大到什么讓人吃驚的程度。下面我們舉個簡單的例子來說明。

一本《紅樓夢》：純文本(未壓縮)，約2MB

一張1200萬像素的照片(未壓縮)：約34MB

一部90分鐘的電影(H.264編碼)：約2.5GB(也就是2500MB)

這樣算下來，一塊1TB的硬盤大約可以存儲50萬本電子書，3萬張圖片，400部電影。假定三天時間看完一本書，這50萬本就需要4000多年才能看完。

1PB的容量大約可存儲5億本書，3千萬張圖片，或40萬部90分鐘的電影。看書的時間過于夸張就不說了，這些電影也需要持續近140年時間才能看完。

1EB這個單位的龐大已經超乎了人們的想象，僅僅存放這些數據需要大約2000個機柜的存儲設備。

如果并排放這些機柜，可以連綿1.2公里那么長。如果擺放在機房里，需要21個標準籃球場那么大的機房，才能放得下。

真的有企業會產生如此海量的數據嗎?

事實上，阿里、百度、騰訊這樣的互聯網巨頭，因為其擁有數億的用戶，這些海量用戶產生的數據量早已超越PB級，接近EB級。

大數據是怎樣產生的?

隨著互聯網，物聯網的發展，萬事萬物皆可連接，皆可源源不斷地產生數據，從涓涓細流匯聚成汪洋大海。

經過移動互聯網的大爆發，中國的上網用戶數已經約等于智能手機的用戶數，通過4G網絡隨時連接，實時在線。

這些用戶在手機上的每一次滑動和點擊，都會被各式各樣的APP上傳并存儲，以及在微博，微信，知乎，抖音等各種社交或者UGC類APP上創作的文本，圖片和視頻，形成海量的數據。

物聯網方面也不遑多讓。據GSMA智庫預測，到2025年全球將會有18億移動物聯網連接(總共31億蜂窩物聯網連接)，以及138億工業物聯網連接，其中63億在亞太地區和中國，占總數的65%。

如果放在以前，計算機的硬件(存儲，計算)等資源還很金貴的情況下，這些數據只能是經過簡單匯總之后就被丟掉。

然而隨著技術的發展，計算機硬件的存儲和計算能力越來越強，越來越不值錢，這些原本被認為食之無肉棄之有味數據才能被大量存儲和處理，并挖掘價值。

目前微信擁有11億的用戶，每天發送數百億條消息，還有朋友圈，支付，掃一掃，搖一搖等多種行為都存儲在微信的后臺。

如果要從這些海量數據中分析所有微信用戶的行為習慣，比如每天的使用時長，偏好發語音還是文字，對哪些類型的公眾號感興趣等數據就沒有那么簡單了。

這就是各種大數據技術誕生及發展的驅動力。

大數據有哪些特點?

由于大數據的描述眾說紛紜，4個V，5個V，乃至8個V的說法都有。本文就簡采用IBM的4V說：大量(Volume)，高速(Velocity)，多樣(Variety)，價值(Value)。

1、大量：這一點是大數據最基礎的屬性，前面講過了。也就是說：大數據分析的是所有樣本，不是隨機抽樣，因此可進行多維度，任意縮放地進行分析。

2、高速：數據產生地快，對分析和使用的速度要求也很高。如果像刻舟求劍一樣，分析地雖然精確，但耗時過長，以至于結論早已過時，終究是沒有用處的。

試想一下，在網上買書的時候，系統會根據目前瀏覽的書來智能推薦用戶還可能感興趣的其他書，這個是要求秒級響應的。如果過了半小時才算出結果來，用戶很可能早都購物結束了。

3、多樣：數據的來源多種多樣，格式不一，既有傳統的結構化數據，更多的則是非結構化數據。

結構化數據就是可以按照預定義的關系模型來存儲的數據。

非結構化數據指的那些沒有固定格式，內容需要分析識別才知道的數據，一般就是網頁，圖片，音頻，視頻等數據。這些數據占比可達80%以上。

也就是說，大數據不是精確性，而是混雜性。這些數據不論格式，只要擁有可供挖掘的信息，就都來者不拒。

4、價值：數據雖多，但價值密度很低，必須經過大量的分析和提取，才能較為準確地發現其中蘊藏的規律。

據不完全統計，公安機關全國每年需要存儲的數據量高達3.3EB，結合視頻監控和人臉識別，實現犯罪嫌疑人的快速識別和實時布控。

中國的犯罪率是很低的，收集并存儲如此多的數據，就是為了進行大海撈針，可見大數據的價值密度之低。

并且，大數據的價值體現在對數據內部隱含的相關性的挖掘，而非對因果性的求索。這個世界是復雜的，有相關性的事件之間不一定有直接的因果關系。

我們不必糾結于事件之間具體的前因后果，只要知道它們之間是有正向或者負向聯系的，只需照著做就能體現數據分析的價值了。這是一種實用主義的態度。

舉例來說，沃爾瑪超市發現把啤酒和尿布放在一起時，啤酒的銷量會大幅增加。此時擺在老板面前兩個選擇：是繼續研究苦苦研究這個現象內在的因果關系呢，還是趕緊所有門店都如此配置起來好更快地賺錢?

答案顯然是后者。大數據分析是用來發現相關性來創造價值的，而非探索因果關系進行科研。

大數據有哪些用處?

1、用戶畫像

「千萬人撩你，不如一人懂你。」在現實世界里，唯一懂你的TA就是默默關注著你的大數據。

你的一舉一動，都被各種APP記錄下來并進行分析，找出典型特征，并據此跟你打上各式各樣的標簽。這些標簽匯聚起來就是你這個人在網絡上的化身，美其名曰「用戶畫像」。

通過搜集并分析多維數據，這些用戶畫像可以包含生活中的方方面面，每一個用戶在大數據面前都是一絲不掛的。基于對用戶的了解，各種各樣的精準營銷就可以高效進行了。

如此一來，你打開購物APP，醒目位置顯示的都是自己想要買的東西;打開資訊APP，頭條里面推薦的都是自己偏好的內容;打開搜索引擎，搜出來的東西都正好是自己想要找的。

亞馬遜技術專家曾經說過：「如果系統運作良好，亞馬遜應該只推薦你一本書，而這本書就是你將要買的下一本書。」

2、決策支撐

在移動通信領域，所有用戶產生了海量的信令交互，網絡測量報告，以及各種各樣的業務數據。

這些信息都是被記錄下來的，除了可以用來追蹤用戶，解決故障之外，還能用來了解自身的網絡覆蓋，容量，用戶滿意度等指標，并能和對手進行對比分析。

基于這些大數據的分析結果，網絡優化，用戶體驗提升等操作都可以有的放矢，更為方便高效。

在醫療領域，大量患者產生的海量數據可以用來進行臨床治療對比，藥品研發，疾病診斷，甚至還能作為醫保政策，額度等調整優化的依據。

除了上面的例子之外，大數據還在互聯網，金融，以及各種垂直行業內部都有著豐富的應用場景。總結起來就是「知己知彼，百戰不殆」，「運籌帷幄，決勝千里」。

大數據和云計算，人工智能及5G之間有什么關系?

由于大數據分析需要對大量的數據進行分解，統計，匯總，一臺機器肯定搞不定，于是就有了分布式計算的方法。

也就是說，將大量的數據分成很多的小份，每臺機器只處理其中的一小份，多臺機器并行處理，處理速度得以大幅提升。

例如著名的Terasort對1個TB的數據排序，如果單機處理，怎么也要幾個小時，但并行處理，僅需要209秒即可完成。

在分布式計算框架下，大數據的處理，可以分為數據收集，數據存儲，數據處理(資源管理與服務協調，計算引擎)，數據分析，數據可視化這幾層。

大數據需要大量的服務器資源，但這些資源可能并不是隨時都滿負荷工作的。例如使用大數據來分析公司的財務情況，可能只需一周分析一次，但把這成千上萬臺機器放在機房里，每周用一次是非常浪費的。

這正是云計算誕生的初衷。如果能在不同的時間，把這些閑置機器提供的網絡，存儲以及計算能力共享給其他用戶使用，資源的利用率將大大提升。

云計算通過硬件資源的虛擬化，相當于平臺的提供者，而大數據是海量數據的高效處理，相當于云計算平臺上的大型應用。

那大數據和人工智能有沒有關系?實際上，大數據是人工智能發展的前提。

目前人工智能的主流算法是深度學習，其能夠大展身手需要兩個條件：強大的計算能力和高質量的大數據。其中最具有代表性的系統，就是著名的「谷歌大腦」。

這是一個龐大的深度學習計算框架，擁有數萬臺高性能的計算機和頂級圖形處理器組成的計算單元，可以完成大規模，多維度，多層次的深度學習模型訓練。

據悉，在谷歌大腦建立不久，谷歌就使用了一個擁有16000的CPU組成的超大規模計算機集群，讓機器用深度學習模型自己「看」了一千萬段視頻，終于把人工智能訓練地學會了如何從視頻中辨認出一只貓來。

因此，沒有大數據所提供的足夠的學習樣本，深度學習系統搭建得再完美也沒用。對人工智能來說，深度學習算法是靈魂，云計算是肉體，大數據則是糧食。

沒有糧食，肉體和靈魂就都成了空中樓閣。只有這三者合力，才能揭開人工智能應用的新篇章。

而5G提供的萬物互聯，正是人工智能的糧食——大數據產出的肥沃土壤。

這就是大數據和云計算，人工智能，以及5G之間剪不斷理還亂的聯系。

好了，本期的內容就到這里，希望對大家有所幫助。