年初，筆者開始調研Hadoop在國內企業的應用現狀，在前期的互聯網企業應用現狀調研中，筆者發現目前比較知名的互聯網企業基本都在使用Hadoop，其生態組件，比如HDFS、Zookeeper、MapReduce等出現頻率極高(完整調研可在文末獲取鏈接)。但是，Hadoop在國外卻接連遇冷，前有Gartner報告對Hadoop發行版的看衰論斷，后有加拿大皇家銀行和美國富國銀行對Hadoop應用的不看好，到底國內傳統企業對Hadoop持什么態度?是否與國內的互聯網企業一致呢?Hadoop生態中哪些組件獲一致好評?哪些組件被群嘲?

[[239401]]

本次調研共耗時兩個月(具體話題詳見文末鏈接)，共吸引17865人次點擊(截至發文時)，眾多用戶圍繞Hadoop生存現狀主要討論了以下三大問題：

1. 您對Gartner的報告結論如何看待?就國內現狀而言，Hadoop在傳統企業的受歡迎程度會和互聯網企業相同嗎?
2. 您認為Hadoop生態最大的優勢和劣勢分別是什么?Spark生態也在漸漸完善，其機器學習方面的能力更強，未來與Hadoop生態的關系會是什么樣的?
3. 您認為Hadoop生態中表現最好、生命力最旺盛的組件有哪些?為什么?最容易被替換、表現欠佳的組件又有哪些呢?為什么?

(注：為了防止因行業不同而對事情的理解造成偏差，每位答題者被要求給出所屬行業，以供用戶結合行業屬性參考)

一、國內傳統行業對Hadoop態度如何?是否與互聯網企業一致?

Itpub網友jieforest(制造業)： Gartner的調查報告一向有比較高的可信度和權威性，但是Gartner報告未必明確指出Hadoop將在什么時間淘汰。我雖然未讀Gartner報告，但我估計其報告應該是講述當前大數據平臺的技術發展趨勢。從趨勢上看，Hadoop在未來可能會被更好的技術所取代，未來會面臨淘汰的風險。

結合今年福布斯大數據市場預測，到2022年，Hadoop市場預計將達到99.31億美元，復合年增長率為42.1%。從福布斯的數據來看，Hadoop還將興旺好些年。Hadoop解決方案這些年在國內經過了各公司的檢驗，大家逐步認識到它是一個成熟靠譜的解決方案，確實能解決企業大數據過程面臨的問題，但Hadoop也并非包治百病，有些需求很容易搞定，而有些則很難搞定或者需要另謀別的解決方案。

傳統企業往往喜歡采用比較成熟的解決方案，因此Hadoop還將在國內有比較長的生命周期。就像Java語言，現在已經是第10版了，但很多傳統企業仍然堅持使用Java SE 6.0。

Itpub網友ceo_lxy(傳統制造行業)： 在傳統制造行業，Hadoop大數據方案感覺實用不強，不是很受歡迎，原因有以下三點：一是傳統制造行業沒有這么大的數據量，都是內部運營數據及少量供應商和客戶數據;二是Hadoop技術更新快且成本較高，制造業利潤普遍不高的前提下，Hadoop技術短期帶來不了直接回報;三是傳統制造行業更青睞成熟的技術方案，而不僅僅是開源。

Itpub網友luckyrandom： 各自面對和專注的領域不同，開發設計也有不同的立場、角度，Hadoop是個更通用的框架和平臺。就好像即使MySQL如此流行，但Oracle和SQL Server還是有自己的市場，真正適合用戶需求的產品才是好產品，這個產品會包括產品本身質量、發展勢頭、生態鏈等。傳統企業的量級難以達到“大數據”的級別，除了極少數之外，互聯網企業才是Hadoop應用主角。

Itpub網友13572******(金融行業)： 大數據殺熟的新聞曝光后，傳統企業對大數據的信任度有所下降，大數據的缺點一下子就暴露了出來，只有加強大數據在制造業、農業等領域的應用監管，才可以避免此類投機取巧事件的發生。

Itpub網友aloki(服務業)： 我認為Gartner報告有點危言聳聽，Hadoop即使在使用過程存在問題，但并不是沒辦法解決。就國內現狀而言，Hadoop在傳統企業的受歡迎程度與互聯網企業相同，幾乎覆蓋全行業。

Itpub網友help01(信息服務)： Gartner的報告應該還是可信的。在國內，Hadoop應用主要以互聯網公司為主，由此可以推斷Hadoop在互聯網企業比在傳統企業更受歡迎。

Itpub網友renxiao2003(傳統醫療制造)： 上世紀70年代發明的C語言，好多機構和“專家”都曾斷言C語言會死，但直到今天C語言依舊是一個流行和不可或缺的開發語言。所以我們不能盲目的去相信報告，要客觀的分析和處理。至于Hadoop在傳統企業的受歡迎程度和互聯網企業肯定是不同的。

二、Hadoop生態目前最大的優勢和劣勢是什么?未來與Spark的關系更傾向于哪一種方式?

Itpub網友aloki(服務業)： Hadoop的優勢是可擴展性和容錯性，支持從GB到PB級別多種業務需求，支持PB級別海量數據批處理需求;劣勢是使用門檻略高，技術迭代快導致學習成本和運維成本升高。Spark大部分情況下與Hadoop配合出現，Spark作為通用計算引擎，而Hadoop提供存儲和資源管理框架等服務。

Itpub網友jieforest (制造業) ： Hadoop和Apache Spark都是大數據框架，但它們的實現目標有所不同。Hadoop本質上是一個分布式數據基礎架構，在大量商品服務器的多個節點上分發海量數據集合，這意味著用戶不需要購買和維護昂貴的定制硬件，它還對這些數據進行索引和跟蹤，使大數據處理和分析能夠比以前更有效。

Spark沒有自己的文件管理系統，Spark可以看成是一種數據處理工具，可以對這些分布式數據集進行操作，但其自身不會做分布式存儲。Hadoop不僅包含一個稱為Hadoop分布式文件系統的存儲組件(HDFS)，還包含一個名為MapReduce的處理組件，因此不需要Spark即可完成大數據處理。

[[239402]]

Itpub網友help01(信息服務)： Hadoop的優勢有以下幾方面，高可靠性：按位存儲和處理數據的能力值得信賴;高擴展性：在可用的計算機集簇間分配數據并完成計算任務，這些集簇可以方便地擴展到數以千計的節點;高效性：Hadoop能夠在節點之間動態移動數據，并保證各個節點的動態平衡，因此處理速度非常快;高容錯性：Hadoop能夠自動保存數據的多個副本，并且能夠自動將失敗的任務重新分配。

劣勢：

• 不適合低延遲數據訪問;
• 無法高效存儲大量小文件;
• 不支持多用戶寫入及任意修改文件。

Spark目前在國內的大型互聯網公司中也得到了積極推廣，百度、阿里巴巴、奇虎360、騰訊以及中國移動等都有使用，預計Spark未來會融合到Hadoop生態當中。

Itpub網友renxiao2003 (傳統醫療制造) ： Hadoop 可以一種可靠、高效、可伸縮的方式進行數據處理。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴于社區服務，因此它的成本比較低，任何人都可以使用。

不足之處：

• 全量場景，任務內串行
• 重吞吐量，響應時間完全沒有保證
• 中間結果不可見，不可分享
• 單輸入單輸出，鏈式浪費嚴重
• 鏈式MR不能并行
• 粗粒度容錯，可能會造成陷阱
• 圖計算不友好
• 迭代計算不友好

Hadoop和Spark解決問題的層面不一樣：Hadoop和Apache Spark都是大數據框架，但是各自存在的目的不盡相同。Hadoop實質上更多的是一個分布式數據基礎設施，它將巨大的數據集分派到由普通計算機組成的集群中的多個節點進行存儲，意味著用戶不需要購買和維護昂貴的服務器硬件。Spark專門用于對分布式存儲數據進行處理，并不會進行分布式數據存儲。

Hadoop和Spark可合可分：Hadoop除了提供HDFS之外，還提供了叫做MapReduce的數據處理功能，因此可以完全拋開Spark進行數據處理。相反，Spark也不是非要依附在Hadoop身上才能生存。如上所述，畢竟它沒有提供文件管理系統，所以，它必須和其他分布式文件系統集成才能運作。

三、Hadoop生態中哪些組件表現較好?哪些是時候淘汰了?

總結

大部分用戶認可Hadoop在國內傳統企業的應用狀況與互聯網企業不同，并更傾向于傳統企業不如互聯網企業應用廣泛的觀點，主要考慮到傳統企業的數據量不如互聯網企業多，且傳統企業部署Hadoop的成本較高。至于Hadoop與Spark的關系，大多數網友傾向于將Spark與Hadoop集成，以彌補Hadoop的劣勢，但是相比較而言，Hadoop略占上風，Spark需要在HDFS之上運行，雖然找到一個替代HDFS的組件并不難，但要想完全還原甚至超越其功能的組件目前還未曾出現在大規模生產驗證環境中。