近日，Cloudera發(fā)布Impala實時查詢引擎Impala 1.0 beta版，并聲稱這項革命性的技術(shù)能解決Hadoop批處理延遲問題（比原來基于MapReduce的Hive SQL查詢速度提升3～30倍），開源的Impala還為Hadoop打開了通向關(guān)系型數(shù)據(jù)庫和商業(yè)智能工具的大門。

Impala是運行于現(xiàn)有Hadoop基礎(chǔ)設(shè)施上的實時互動SQL查詢引擎，可以讓Hdadoop DFS文件系統(tǒng)以及Apache HBase數(shù)據(jù)庫中的數(shù)據(jù)支持實時查詢。這意味著Impala為Hadoop打開了通向關(guān)系型數(shù)據(jù)庫和傳統(tǒng)商業(yè)智能工具的大門（后兩者基于SQL查詢）。

此前，數(shù)據(jù)倉庫架構(gòu)Apache Hive能夠讓Hadoop某種程度上支持結(jié)構(gòu)化數(shù)據(jù)訪問，但是Hive采用的方法是將SQL查詢轉(zhuǎn)化成MapReduce任務(wù)，這導(dǎo)致Hive的性能很差。而且，Hive只能支持不到30%的SQL分析功能，而根據(jù)Cloudera的說法，Impala將比Hive出色得多。

“從長遠(yuǎn)看，Impala將取代Hive，但目前Hive的安裝基數(shù)很大，關(guān)聯(lián)的應(yīng)用很多，所以Impala不會很快取代Hive，”Coudera首席執(zhí)行官Mike Olson說道：“因為支持實時查詢，Impala將會非常有吸引力。”

Impala實際上是兩個產(chǎn)品。核心部分是Impala實時查詢引擎，采用Apache開源授權(quán)方式，Hadoop用戶可以單獨使用這個引擎。同時，Impala項目也將以Cloudera Enterprise RTQ（Real-Time Query）為名進入CDH發(fā)行版。可以部署到生產(chǎn)環(huán)境的版本將到2013年一季度就緒。Cloudera Enterprise RTQ將作為Cloudera 管理控制臺的一部分，負(fù)責(zé)管理Impala服務(wù)器。從這個管理控制臺中IT人員能夠看到查詢的運行情況、運行時間以及活躍用戶數(shù)等。

借鑒Dremel

Impala可謂是Cloudera的秘密武器，在正式發(fā)布之前，Impala項目的開發(fā)高度保密，顯然，Cloudera希望給大數(shù)據(jù)業(yè)界一個驚喜。Impala有望解決Hadoop系統(tǒng)的兩個頑疾：批處理速度慢和數(shù)據(jù)可訪問性差（無法支持分秒級的實時互動查詢分析）。Cloudera在官方博客中透露Impala是在Dremel的啟發(fā)下開發(fā)的。Impala不再使用緩慢的 Hive+MapReduce批處理，而是通過與商用并行關(guān)系數(shù)據(jù)庫中類似的分布式查詢引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分組成），可以直接從HDFS或者HBase中用SELECT、JOIN和統(tǒng)計函數(shù)查詢數(shù)據(jù)，從而大大降低了延遲。其架構(gòu)如下圖所示。

Impala的架構(gòu)

商業(yè)智能廠商的福音，但不會取代傳統(tǒng)數(shù)據(jù)倉庫

Impala對于商業(yè)智能廠商來說也許是個福音。過去，商業(yè)智能廠商只能采用耗時的手動方式將數(shù)據(jù)從Hadoop系統(tǒng)中轉(zhuǎn)移出來，或者忍受Hive的延遲和功能局限。在ad hoc查詢分析模式下，Impala可以讓BI工具直接訪問Hadoop中的數(shù)據(jù)，但Olson表示，在生產(chǎn)環(huán)境，關(guān)鍵任務(wù)工作負(fù)載仍然將會由關(guān)系型數(shù)據(jù)庫處理。“一些工作負(fù)載將會借Impala進入Hadoop系統(tǒng)，但是如果需要進行結(jié)構(gòu)化數(shù)據(jù)的高速復(fù)雜分析，傳統(tǒng)大型數(shù)據(jù)倉庫依然無可替代。傳統(tǒng)數(shù)據(jù)倉庫運行的OLAP引擎有很多專用界面，支持?jǐn)?shù)據(jù)匯總與聚合。這些都不是SQL語言和Impala能夠處理的。（有趣的是，OLAP正受到內(nèi)存計算技術(shù)的威脅，所以人們不禁會問，有朝一日OLAP是否也會被部署到Hadoop系統(tǒng)里）。

能否取代Hive，用戶說了算

Cloudera還沒有對Imala進行benchmark測試，但是Olson表示Impala未必能達到關(guān)系型數(shù)據(jù)庫的性能，但可以肯定的一點是，速度將比Hive快3-30倍，這足以讓用戶拋棄Hive選擇Impala。Cloudera的一些客戶目前已經(jīng)開始測試Impala，其中兩家結(jié)果即將公布。其中一家公司Monsanto在全球范圍內(nèi)有大量研究科學(xué)家協(xié)作分析抗病-野草基因組，但是目前這些研究數(shù)據(jù)分散在很多數(shù)據(jù)孤島中，Monsanto希望能夠在Hadoop中整合所有數(shù)據(jù)，并用Impala提供高速SQL查詢服務(wù)，Monsanto目前正在開發(fā)一個覆蓋所有研究中心的協(xié)作時互動環(huán)境。

Cloudera另外一家客戶——在線旅游預(yù)訂網(wǎng)站Expedia使用Cloudera產(chǎn)品管理者超過4PB的數(shù)據(jù)，目前正在測試通過Implala了解用戶的預(yù)定內(nèi)容，誰在預(yù)訂，哪些航班、租車公司、酒店更受歡迎（或者流失客戶）。

Expedia全球商業(yè)智能和數(shù)據(jù)倉庫總監(jiān)Jeff Prather透露：“Impala讓我們的Hadoop系統(tǒng)的延遲降低了50%，而且提供了很多前所謂有的業(yè)務(wù)分析功能。”

Olson鼓勵Hadoop社區(qū)下載Cloudera Impala beta文檔，（GitHub源碼下載地址）因為越多人使用、測試，這項技術(shù)產(chǎn)品化的速度就會越快。

但是目前還清楚Impala是否能夠比Hive更受歡迎，甚至取代Hive。Cloudera的競爭對手們，如Hortonworks和MapR也沒有表態(tài)是否支持Impala。但是在最大的Hadoop發(fā)行商Cloudera的支持下，在如此眾多的廠商和用戶提高Hadoop的SQL查詢速度的期待下，Impala的前景還是一片光明的。

【編輯推薦】