本年度Hadoop World會議上最火的一則消息可能就是Cloudera決定提供Apache Spark的全企業(yè)級支持——類似Hadoop發(fā)行版里的定制內容及付費產品支持，不僅僅是技術整合。這進一步證明了未來Hadoop的工作負載比現(xiàn)在和過去的看起來大不一樣。

Spark是一個內存中的數據處理平臺，兼容Hadoop數據源，但是比Hadoop MapReduce運行的更快。它非常適合機器學習作業(yè)，以及交互式數據查詢，非常易于開發(fā)者使用，因為它包含了Scala、Python、Java的API。Spark已經在大量的網絡公司和網絡創(chuàng)業(yè)公司中使用，一個旨在商業(yè)化Spark的初創(chuàng)公司Databricks近日獲得了1400萬美元的風險投資。

實際上，Databricks是Cloudera Connet的***個合作伙伴，它將幫助Cloudera提供支持，在Apache Spark未來發(fā)展中也將與大的Hadoop供應商合作，Cloudera公司聯(lián)合創(chuàng)始人兼CTO Amr Awadallah解釋了這個合作關系，也作為所有潛在客戶的合作關系：將作為Cloudera所有感興趣的客戶創(chuàng)新的樞紐。Databricks以類似OEM的關系獲益，但該協(xié)議僅限于擴展Apache Spark，不會發(fā)布任何商業(yè)版本的Databricks。

除下Databricks和Cloudera建立在Spark上的合作之外，Hortonworks也在致力流處理引擎Storm的企業(yè)級應用，這些探索都是非常重要的，因為只運行MapReduce的Hadoop永遠都無法取得長期勝利。現(xiàn)在，YARN資源管理層已經可以投入使用，Cloudera和Hortonworks不用浪費任何時間為Hadoop未來的工作負載做準備，坦白來說，面對本質上Hadoop變成能支持可擴展性的開源數據層，我不明白過去幾年那些對Hadoop持懷疑態(tài)度的人依然能夠堅持，理論上，你可以使用它來處理任何類型。

Awadallah指出，雖然MapReduce仍然能流行一段時間，但是作為事實上的通用數據處理平臺，Hadoop的未來應該更好。