大數據與區塊鏈的聯系 總算搞懂了
今天，很多人還沒弄懂大數據，區塊鏈又來了。區塊鏈與大數據究竟有著怎樣的關系?進入大數據時代，云計算成為大數據基礎設施，也使得大數據的核心思想和云計算一脈相承。大數據和區塊鏈兩者之間有個共同的關鍵詞：分布式，代表了一種從技術權威壟斷到去中心化的轉變。
區塊鏈讓數據真正“放心”流動起來
區塊鏈以其可信任性、安全性和不可篡改性，讓更多數據被解放出來。用一個典型案例來說明，即區塊鏈是如何推進基因測序大數據產生的。區塊鏈測序可以利用私鑰限制訪問權限，從而規避法律對個人獲取基因數據的限制問題，并且利用分布式計算資源，低成本完成測序服務。區塊鏈的安全性讓測序成為工業化的解決方案，實現了全球規模的測序，從而推進數據的海量增長。
分布式的儲存
大數據，指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據需要應對海量化和快增長的存儲，這要求底層硬件架構和文件系統在性價比上要大大高于傳統技術，能夠彈性擴張存儲容量。
區塊鏈，是比特幣的底層技術架構，它在本質上是一種去中心化的分布式賬本。區塊鏈技術作為一種持續增長的、按序整理成區塊的鏈式數據結構，通過網絡中多個節點共同參與數據的計算和記錄，并且互相驗證其信息的有效性。從這一點來說，區塊鏈技術也是一種特定的數據庫技術。由于去中心化數據庫在安全、便捷方面的特性，很多業內人士看好其發展，認為它是對現有互聯網技術的升級與補充。區塊鏈則是純粹意義上的分布式系統。
分布式計算
大數據的分析挖掘是數據密集型計算，需要巨大的分布式計算能力。節點管理、任務調度、容錯和高可靠性是關鍵技術。Google是這種分布式計算技術的代表，通過添加服務器節點可線性擴展系統的總處理能力，在成本和可擴展性上都有巨大的優勢。現在，除了批計算，大數據還包括了流計算、圖計算、實時計算、交互查詢等計算框架。
區塊鏈的共識機制，就是所有分布式節之間怎么達成共識，通過算法來生成和更新數據，去認定一個記錄的有效性，這既是認定的手段，也是防止篡改的手段。區塊鏈主要包括四種不同的共識機制，適用于不同的應用場景，在效率和安全性之間取得平衡。以比特幣為例，采用的是“工作量證明”，只有在控制了全網超過51%的記賬節點的情況下，才有可能偽造出一條不存在的記錄。
大數據與區塊鏈的不同點
2011年，“大數據”***次上榜，位于技術萌芽期的爬坡階段，當時還統稱為“Big Data and Extreme Information Processing and Management”(“大數據”和極端信息處理和管理)。2012年更進一步，并在2013年幾乎達到了過熱期頂峰。經歷了2014年的下滑，從2015年開始，“大數據”突然從曲線中消失，可解讀為Gartner對大數據的定位已從“新興”轉為“主流”。當前，大數據對于企業的意義已從能力要素上升為戰略核心。相對而言，“區塊鏈”直到2016年才***次出現在《技術成熟度曲線》中，并直接進入“過熱期”。總的來看，“大數據”和“區塊鏈”所處的生命周期階段大不相同，兩者約有5年左右的差距。
大數據通常用來描述數據集足夠大，足夠復雜，以致很難用傳統的方式來處理。區塊鏈能承載的信息數據是有限的，離“大數據”標準還差得很遠。
大數據與區塊鏈的差異
- 結構化 vs 非結構化：區塊鏈是結構定義嚴謹的塊，通過指針組成的鏈，典型的結構化數據，而大數據需要處理的更多的是非結構化數據。
- 獨立 vs 整合：區塊鏈系統為保證安全性，信息是相對獨立的，而大數據著重的是信息的整合分析。
- 直接 vs 間接：區塊鏈系統本身就是一個數據庫，而大數據指的是對數據的深度分析和挖掘，是一種間接的數據。
- 數學 vs 數據：區塊鏈試圖用數學說話，區塊鏈主張“代碼即法律”，而大數據試圖用數據說話。
- 匿名 vs 個性：區塊鏈是匿名的(公開賬本，匿名擁有者，相對于傳統金融機構的公開賬號，賬本保密)，而大數據有意的是個性化。
在區塊鏈中使用大數據技術
- 區塊鏈是一種不可篡改的、全歷史的分布式數據庫存儲技術，巨大的區塊鏈數據集合包含著每一筆交易的全部歷史，隨著區塊鏈技術的應用迅速發展，數據規模會越來越大，不同業務場景區塊鏈的數據融合會進一步擴大數據規模和豐富性。
- 區塊鏈以其可信任性、安全性和不可篡改性，讓更多數據被解放出來，推進數據的海量增長。
- 區塊鏈的可追溯性使得數據從采集、交易、流通，以及計算分析的每一步記錄都可以留存在區塊鏈上，使得數據的質量獲得***的強信任背書，也保證了數據分析結果的正確性和數據挖掘的效果。
- 區塊鏈能夠進一步規范數據的使用，精細化授權范圍。脫敏后的數據交易流通，則有利于突破信息孤島，建立數據橫向流通機制，形成“社會化大數據”。基于區塊鏈的價值轉移網絡，逐步推動形成基于全球化的數據交易場景。
- 區塊鏈提供的是賬本的完整性，數據統計分析的能力較弱。大數據則具備海量數據存儲技術和靈活高效的分析技術，極大提升區塊鏈數據的價值和使用空間。
