大數(shù)據(jù)時(shí)代已經(jīng)來臨，并悄悄的影響著我們的生活。根據(jù)IDC最近一項(xiàng)研究顯示，在Facebook上每20分鐘就有100萬個(gè)新鏈接被分享，1000萬條用戶評(píng)論被發(fā)布。Facebook和其他所有互聯(lián)網(wǎng)網(wǎng)站、互聯(lián)網(wǎng)應(yīng)用，已經(jīng)逐漸變成了整個(gè)數(shù)據(jù)采集、分析、處理、增值的數(shù)據(jù)架構(gòu)。

在中國(guó)，社交網(wǎng)絡(luò)同樣如火如荼。新浪副總裁王高飛就曾表示，新浪微博的注冊(cè)用戶已超過3億，用戶平均每天發(fā)布超過1億條微博內(nèi)容，相當(dāng)于每10個(gè)中國(guó)人里面，就會(huì)有一人每天發(fā)布一條微博。每位用戶的平均在線時(shí)長(zhǎng)為60分鐘，活躍用戶中有60%通過移動(dòng)終端登錄，所有來自移動(dòng)終端的原創(chuàng)內(nèi)容中，有40%的微博分享照片。在社交網(wǎng)絡(luò)的影響下，用戶通過移動(dòng)設(shè)備能夠在任何時(shí)間、任何地點(diǎn)、任何狀態(tài)下消費(fèi)和創(chuàng)造數(shù)據(jù)。

社交網(wǎng)絡(luò)和移動(dòng)互聯(lián)網(wǎng)的發(fā)展催生出大量的非結(jié)構(gòu)化數(shù)據(jù)，這是一種有別于傳統(tǒng)結(jié)構(gòu)化的一種數(shù)據(jù)類型，常見的圖像、視頻、音樂、辦公文檔、Web頁面、微博、即時(shí)通信和傳感器產(chǎn)生的數(shù)據(jù)等都屬于非結(jié)構(gòu)化數(shù)據(jù)。據(jù)英特爾亞太研發(fā)有限公司總經(jīng)理、軟件與服務(wù)事業(yè)部中國(guó)區(qū)總經(jīng)理何京翔博士介紹，當(dāng)前每48小時(shí)產(chǎn)生的數(shù)據(jù)量相當(dāng)于人類文明到2003年產(chǎn)生的數(shù)據(jù)量總和，未來隨著物聯(lián)網(wǎng)和智能城市的發(fā)展，這一數(shù)字將更加驚人，且多為傳感器等數(shù)據(jù)采集裝置所產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)。

除此之外，傳統(tǒng)企業(yè)同樣面臨大數(shù)據(jù)的挑戰(zhàn)。據(jù)Gartner預(yù)測(cè)，企業(yè)數(shù)據(jù)將在五年內(nèi)增加800%，其中80%是非結(jié)構(gòu)化的。來自團(tuán)體、社區(qū)，以及社交網(wǎng)絡(luò)的非業(yè)務(wù)數(shù)據(jù)會(huì)成為這種趨勢(shì)中的大部分。非結(jié)構(gòu)化數(shù)據(jù)的爆炸式增長(zhǎng)，使傳統(tǒng)數(shù)據(jù)庫面臨巨大挑戰(zhàn)，Hadoop逐漸成為全球IT產(chǎn)業(yè)的寵兒。

Hadoop是一個(gè)100%的分布式文件系統(tǒng)，被稱為繼Linux以來最成功的開源軟件，其最大的優(yōu)勢(shì)就是存儲(chǔ)和計(jì)算非結(jié)構(gòu)化數(shù)據(jù)。Hadoop可以利用高性價(jià)比的X86服務(wù)器組成高性能集群，當(dāng)數(shù)據(jù)量增加到無法負(fù)荷的時(shí)候，只需增加相應(yīng)節(jié)點(diǎn)即可滿足計(jì)算需求，價(jià)格低廉的存儲(chǔ)和計(jì)算是大數(shù)據(jù)的推動(dòng)力。#p#

傳統(tǒng)數(shù)據(jù)庫的Hadoop夢(mèng)想

與Hadoop不同，數(shù)據(jù)庫自誕生之日起，就承載了企業(yè)中結(jié)構(gòu)化數(shù)據(jù)的日常管理。數(shù)據(jù)庫的發(fā)展經(jīng)歷了人工管理、文件系統(tǒng)和數(shù)據(jù)庫系統(tǒng)三個(gè)階段，在市場(chǎng)趨勢(shì)的影響下，數(shù)據(jù)庫朝著新的方向不斷變革。據(jù)IDC統(tǒng)計(jì)，2011年全球數(shù)據(jù)總量已經(jīng)達(dá)到了1.8ZB，2020年將達(dá)到35ZB，這意味著全球數(shù)據(jù)將進(jìn)入大爆炸的時(shí)代。傳統(tǒng)數(shù)據(jù)庫廠商紛紛推出各自的大數(shù)據(jù)解決方案，這些解決方案有一個(gè)共同的關(guān)鍵詞——Hadoop。

Hadoop分布式系統(tǒng)基礎(chǔ)架構(gòu)，主要由HDFS、MapReduce和HBase組成，是一個(gè)能夠便捷的開發(fā)和運(yùn)行處理大數(shù)據(jù)的軟件平臺(tái)。Hadoop不等于數(shù)據(jù)庫，它們之間最大的區(qū)別就在于，數(shù)據(jù)庫擅長(zhǎng)處理結(jié)構(gòu)化數(shù)據(jù)，而Hadoop擅長(zhǎng)處理非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)類型多樣化則是大數(shù)據(jù)的特征之一。Hadoop對(duì)數(shù)據(jù)庫廠商而言，既是威脅，也是機(jī)遇，如果能夠讓Hadoop為數(shù)據(jù)庫所用，將為數(shù)據(jù)庫打造一片新的天空。下面筆者將對(duì)支持Hadoop的數(shù)據(jù)庫進(jìn)行盤點(diǎn)，并對(duì)其大數(shù)據(jù)策略簡(jiǎn)要分析。

·Oracle：甲骨文公司在數(shù)據(jù)庫領(lǐng)域一直處于領(lǐng)先地位，其旗下的Oracle數(shù)據(jù)庫是一款最受歡迎的關(guān)系型數(shù)據(jù)庫產(chǎn)品。甲骨文公司全球副總裁、大中華區(qū)技術(shù)總經(jīng)理喻思成曾表示，甲骨文公司更專注的是結(jié)構(gòu)化的工具和RDBMS平臺(tái)，但在過去的一年中，甲骨文公司也開始走進(jìn)大數(shù)據(jù)時(shí)代。事實(shí)也的確如此，甲骨文公司意識(shí)到Hadoop在大數(shù)據(jù)處理方面的潛力，推出以Hadoop為基礎(chǔ)的大數(shù)據(jù)機(jī)(Big Data Application)，其中包括開源Apache Hadoop、Oracle NoSQL數(shù)據(jù)庫、Oracle數(shù)據(jù)集成Hadoop應(yīng)用適配器、Oracle Hadoop裝載器以及開源R，并與Cloudera公司合作提供Apache Hadoop系列軟件。

·IBM DB2：IBM是關(guān)系型數(shù)據(jù)庫的創(chuàng)造者，對(duì)數(shù)據(jù)庫的誕生和發(fā)展舉足輕重，然而處在大數(shù)據(jù)的新時(shí)期，老牌關(guān)系型數(shù)據(jù)庫也需要不斷創(chuàng)新、迎接挑戰(zhàn)。IBM中國(guó)研究院院士、首席技術(shù)官王云曾在2012中國(guó)數(shù)據(jù)庫技術(shù)大會(huì)上表示，大數(shù)據(jù)不能用傳統(tǒng)方法處理，傳統(tǒng)關(guān)系型數(shù)據(jù)庫起源于OLTP功能，能夠保證數(shù)據(jù)準(zhǔn)確記錄;而大數(shù)據(jù)是新的應(yīng)用，是OLAP的體現(xiàn)，這也是關(guān)系型數(shù)據(jù)庫不能滿足大數(shù)據(jù)的原因。IBM推出的大數(shù)據(jù)平臺(tái)包括Hadoop和Stream Computing兩個(gè)組件，通過新的路徑解決大數(shù)據(jù)分析處理。

·SQL Server：微軟作為全球知名的軟件公司，在數(shù)據(jù)庫領(lǐng)域的地位不容小覷。微軟SQL Server 2012引入Hadoop，幫助客戶無縫存儲(chǔ)和處理所有類型的數(shù)據(jù)，包括結(jié)構(gòu)化、非結(jié)構(gòu)化和實(shí)時(shí)數(shù)據(jù)。除此之外，微軟還將同時(shí)在Windows Azure平臺(tái)和Windows Server上提供 Hadoop，形成完整的大數(shù)據(jù)解決方案。正如微軟亞太研發(fā)集團(tuán)首席技術(shù)官孫博凱所說，微軟與Hadoop是一個(gè)強(qiáng)強(qiáng)組合，能夠把Hadoop的高性能、高可擴(kuò)展與微軟產(chǎn)品易用、易部署的傳統(tǒng)優(yōu)勢(shì)融合到一起。

·SAP：SAP公司是全球知名的企業(yè)管理軟件供應(yīng)商，自2010年SAP收購Sybase以來，開始成為數(shù)據(jù)庫界一顆冉冉升起的新星。SAP將數(shù)據(jù)庫技術(shù)作為2012年重點(diǎn)發(fā)展領(lǐng)域之一，形成了以SAP HANA為核心，以SAP Sybase數(shù)據(jù)庫為基礎(chǔ)的大數(shù)據(jù)戰(zhàn)略。在這一戰(zhàn)略中，特別重要的一環(huán)就是Hadoop。通過SAP HANA和SAP Sybase IQ與Hadoop的集成，增強(qiáng)對(duì)Hadoop等大數(shù)據(jù)源的獲取能力，并提供深度集成的預(yù)處理基礎(chǔ)架構(gòu)。

·EMC Greenplum：EMC是全球知名信息存儲(chǔ)服務(wù)提供商，與SAP相似，在2010年收購了Greenplum，開始發(fā)展其數(shù)據(jù)庫市場(chǎng)。目前Greenplum的數(shù)據(jù)庫產(chǎn)品包括傳統(tǒng)的Greenplum Database和Greenplum HD(Hadoop)，前者用來應(yīng)對(duì)企業(yè)結(jié)構(gòu)化數(shù)據(jù)，后者可以將非結(jié)構(gòu)化數(shù)據(jù)導(dǎo)入Greenplum中進(jìn)行存儲(chǔ)和分析。EMC在中國(guó)的市場(chǎng)戰(zhàn)略，以“大數(shù)據(jù)推動(dòng)業(yè)務(wù)轉(zhuǎn)型”為核心，EMC數(shù)據(jù)計(jì)算產(chǎn)品部大中華區(qū)總經(jīng)理劉偉光曾對(duì)筆者表示，EMC之所以會(huì)推出Greenplum Hadoop版本，是對(duì)Hadoop的未來發(fā)展前景充滿信心。

除了以上提到的五款主流數(shù)據(jù)庫，仍有越來越多的傳統(tǒng)數(shù)據(jù)庫廠商正在加入Hadoop陣營(yíng)，這其中還包括Teradata、Informatica、Pentaho、Talend等數(shù)據(jù)庫、數(shù)據(jù)倉庫及商業(yè)智能服務(wù)提供商。此外，Hadoop還是NoSQL數(shù)據(jù)庫的主要架構(gòu)之一。