6月15日，IBM 宣布計劃大規模投資 Spark 相關技術，此項聲明會促使越來越多的工程師學習 Spark 技術，并且大量的企業也會采用 Spark 技術。

Spark 投資的良性循環會使 Spark 技術發展更加成熟，并且可以從整個大數據環境中獲益。然而，Spark 的快速增長給人們一個奇怪且固執的誤解：Spark 將取代 Hadoop，而不是作為 Hadoop 的補充。這樣的誤解可以從類似“旨在比下 Hadoop 的新軟件”和“企業將放棄大數據技術 Hadoop”的標題中看出來。

作為一個長期的大數據實踐者，雅虎投資 Hadoop 的早期倡導者，一個為企業提供大數據服務的公司的 CEO ，我想在這篇文章中提出幾個明確的觀點。

Spark 和 Hadoop 會和諧相處。

越來越多的企業選擇 Hadoop 做大數據平臺，而 Spark 是運行于 Hadoop 頂層的內存處理方案。Hadoop ***的用戶 —— 包括 eBay 和雅虎 —— 都在 Hadoop 集群中運行著 Spark。Cloudera 和 Hortonworks 將 Spark 列為他們 Hadoop 發行的一部分。自從我們推出 Spark 之后，用戶一直在使用著 Spark。

將 Spark 置于和 Hadoop 對立的位置，就好像是說你的新電動汽車看起來很高級，所以你的車就不需要充電一樣。如果電動汽車真的普及的話，那只會帶來更多的用電需求。

為什么這么迷惑呢？現在的 Hadoop 包括兩個主要的組件。***個是大規模儲存系統，叫做 Hadoop Distributed File System （HDFS），它以低功耗、高性能的方式儲存數據，并且能優化大數據的種類和讀取速度。第二個是一個計算引擎，叫做 YARN，它能在儲存在 HDFS 上的數據頂層運行大規模并行程序。

YARN 可以承載任何數量的程序框架。原始的框架是 MapReduce，它由谷歌發明，用于處理大規模頁面抓取。Spark 是另一個類似的框架，另一個新的框架叫做 Tez。當人們談論 Spark“干掉”Hadoop 時，他們往往指的是程序員更喜歡將 Spark 用在老的 MapReduce 框架上。

然而，MapReduce 不等同于 Hadoop。MapReduce 只是 Hadoop 集群處理數據的多種方式之一。Spark 可以是替代品。說得更寬點，商業分析師 —— 持續增長的大數據從業者 —— 會避免使用這兩個對于程序員來說十分低端的框架。相反，他們會使用更高級的語言，例如 SQL ，來讓 Hadoop 更容易訪問。

在過去的四年中，基于 Hadoop 的大數據技術達到了***的創新水平。我們已經從 SQL 批處理轉向互動：從單一框架（MapReduce）轉到多框架（MapReduce、Spark 等等）。

我們已經看到了 HDFS 優異的性能和安全性的改善，并且我們還看到了頂層工具的井噴 ， 例如 Datameer、H20 和 Tableau。大量不同領域的數據科學家和商業用戶使這些大數據工具變得更為易用。

Spark 對于 Hadoop 來說不是挑戰，也不是來取代 Hadoop 的。相反，Hadoop 是 Spark 成長發展的基礎。我們希望兩個組織都能有長足的發展，并且成為將數據資產轉化為可執行商業計劃的最有活力的平臺。