對于動不動就憂天的杞人來說，如此龐大的數字可能是不詳的，預示著世界末日的來臨。而對于樂觀主義者來說，這些數字卻是一座信息金礦，隨著技術的進步，其中所蘊含的財富會越來越容易被挖掘出來。

進入“大數據”時代，出現了不少新興的數據挖掘技術，使得對數據財富的儲存、處理和分析變得比以往任何時候都更便宜、更快速了。只要有了超級計算環境，那么大數據技術就能被眾多的企業所用，從而改變很多行業經營業務的的方式。

我們對大數據技術的定義是：利用一些非傳統的數據篩選工具(包括但不限于Hadoop)對大量的結構化和非結構化數據集合進行挖掘，以便提供有用的數據洞察。

大數據技術的概念和“云計算”一樣，也存在著很多的炒作和大量的不確定性。為此，我們咨詢了多位分析師和研究大數據的專家，讓他們解釋大數據技術是什么和不是什么，以及大數據技術對于數據挖掘的未來究竟意味著什么等諸多問題。

大數據技術的發展背景

對大企業而言，大數據的興起部分是因為計算能力可用更低的成本獲得，且各類系統如今已能夠執行多任務處理。其次，內存的成本也在直線下降，企業可以在內存中處理比以往更多的數據。還有就是把計算機聚合成服務器集群越來越簡單。IDC的數據庫管理分析師CarlOlofson認為，這三大因素的結合便催生了大數據。

“我們不但能夠把這些事情做好，而且能夠以更低廉的成本去做這些事情，”他說。“過去有些大型超級計算機就曾涉足過繁重的多處理系統，一起構建成緊密聚合的集群，但由于都是專門設計的硬件，所以其成本動輒數十萬甚至數百萬美元。而現在，我們利用普通的商品化硬件也能獲得同樣的計算能力。這便幫助我們能夠更快、更便宜地處理更多的數據。”

當然，并非所有擁有龐大數據倉庫的企業都可以說他們正在使用大數據技術。IDC認為，某項技術要想成為大數據技術，首先必須是成本可承受的，其次是必須滿足IBM所描述的三個“V”判據中的兩個：多樣性(variety)、體量(volume)和速度(velocity)。

多樣性是指，數據應包含結構化的和非結構化的數據。體量是指聚合在一起供分析的數據量必須是非常龐大的。而速度則是指數據處理的速度必須很快。Olofson說，大數據“并非總是說有數百個TB才算得上。根據實際使用情況，有時候數百個GB的數據也可稱為大數據，這主要要看它的第三個維度，也就是速度或者時間維度。假如我能在1秒之內分析處理300GB的數據，而通常情況下卻需要花費1個小時的話，那么這種巨大變化所帶來的結果就會增加極大的價值。所謂大數據技術，就是至少實現這三個判據中的兩個的可承受得起的一種應用。” #p# 

與開源之關系

“很多人都認為，Hadoop和大數據是同義詞。但這是個錯誤，”Olofson解釋說。例如Teradata、MySQL和一些“聰明的集群技術”的實施案例都沒有使用Hadoop，但也被認為是大數據的實施案例。

作為大數據的一種應用環境，Hadoop之所以能夠引起人們的注意，是因為它是基于MapReduce環境的，這是超算圈里很常用的一種簡化環境，主要是由谷歌所創建的一個項目。Hadoop是和各種Apache項目密切相關的混合實施環境，其中包含了在MapReduce環境下服務器所創建的HBase數據庫。

軟件開發人員一般會用一切利用到Hadoop以及相似的高級技術的手段來響應——而這些技術很多都是在開源社區里開發的。“他們創建了一個令人眼花繚亂、變化多端的東西，即所謂的NoSQL數據庫，該數據庫的鍵值多數都已利用了各種技術在處理能力、多樣化，或者數據庫規模上做了優化的，”Olofson說。

開源技術一般是沒有商業支持的，“所以這些東西還必須讓其進化一段時間，逐漸剔除各種缺陷，而這一般需要數年的時間。這就是說，羽毛未豐的大數據技術目前還無法在普通市場上普及。”與此同時，IDC預計至少有三家商業廠商會在年底之前對Hadoop提供某種類型的支持服務。還有其他一些廠商，如Datameer等，也會提供帶有Hadoop組件的分析工具，允許企業開發他們自己的應用。例如Cloudera和Tableau等已經在其產品中用到了Hadoop。