Hadoop是一個(gè)值得信賴的推動(dòng)引擎
2011年，對(duì)Hadoop來(lái)說(shuō)注定是載入史冊(cè)的一年：Yahoo!與風(fēng)險(xiǎn)投資公司BenchmarkCapital聯(lián)合建立獨(dú)立公司Hortonworks，接手Yahoo!開(kāi)源軟件平臺(tái)ApacheHadoop；Hadoop海量數(shù)據(jù)分析平臺(tái)Datameer、Karmasphere和Hadapt分別獲得千萬(wàn)美元級(jí)別投資；一向?qū)﹂_(kāi)源趨勢(shì)不屑一顧的微軟轉(zhuǎn)投Hadoop懷抱；Hadoop之父DougCutting***次蒞臨中國(guó)，布道Hadoop0.23……
可以說(shuō)，Hadoop生態(tài)系統(tǒng)呈現(xiàn)出一派欣欣向榮的景象。近日，記者專門采訪了Hadoop in China的兩位發(fā)起人——Yahoo!北京全球研發(fā)中心高級(jí)經(jīng)理韓軼平和中科院計(jì)算所副研究員查禮，請(qǐng)他們?yōu)榇蠹以忈孒adoop的現(xiàn)狀。
Hadoop商機(jī)無(wú)限
2011年關(guān)于Hadoop的眾多投資以及微軟等公司轉(zhuǎn)向Hadoop的事件，昭示了業(yè)內(nèi)感受到了Hadoop中蘊(yùn)藏的商機(jī)。
韓軼平認(rèn)為：“互聯(lián)網(wǎng)行業(yè)由于擁有深厚的技術(shù)實(shí)力，所以Hadoop得以率先在互聯(lián)網(wǎng)行業(yè)得到了蓬勃發(fā)展。但這不意味著其他行業(yè)便沒(méi)有商機(jī)。因?yàn)椴皇撬衅髽I(yè)都有能力使用Hadoop，但需求又實(shí)實(shí)在在地?cái)[在那兒，需要很多的技術(shù)支持、定制化產(chǎn)品，這便會(huì)最終催生出一個(gè)產(chǎn)業(yè)，來(lái)做這些方面的服務(wù)。”
查禮則解釋了傳統(tǒng)IT公司對(duì)Hadoop的態(tài)度：“微軟、IBM這些公司擁抱Hadoop，并不是說(shuō)它們?cè)谙騂adoop傾斜，而是將Hadoop作為一個(gè)標(biāo)準(zhǔn)來(lái)支持，將Hadoop加入到自己的產(chǎn)品體系或者業(yè)務(wù)架構(gòu)中，并進(jìn)而鞏固其在這個(gè)市場(chǎng)上的地位。”
通過(guò)支持Hadoop，老牌IT廠商用最小的代價(jià)加入大數(shù)據(jù)處理這個(gè)新興市場(chǎng)，不失為明智之舉。
Haoop技術(shù)熱點(diǎn)
NoSQL
從2010年NoSQL的好處被認(rèn)識(shí)到之后，好像一夜之間在IT業(yè)內(nèi)便已街知巷聞。目前，NoSQL已經(jīng)不再停留在學(xué)習(xí)概念和坐而論道的階段，而是得到了廣泛應(yīng)用，HBase、MongoDB、Redis等深入人心。應(yīng)該說(shuō)Facebook在這中間起到了領(lǐng)頭羊的作用，率先采用了一些開(kāi)源NoSQL系統(tǒng)來(lái)支持其大數(shù)據(jù)應(yīng)用，而國(guó)內(nèi)互聯(lián)網(wǎng)企業(yè)也看到了這個(gè)趨勢(shì)，并積極跟進(jìn)，不斷進(jìn)行深入的交流和實(shí)踐。
實(shí)時(shí)處理
據(jù)韓軼平介紹，現(xiàn)在包括Facebook和Yahoo!在內(nèi)的越來(lái)越多的公司都在向“實(shí)時(shí)處理”這個(gè)方向發(fā)展，而且會(huì)有更多的公司來(lái)關(guān)注怎樣真正地讓數(shù)據(jù)處理和分析能夠越來(lái)越實(shí)時(shí)，因?yàn)樘幚斫咏鼘?shí)時(shí)之后，會(huì)對(duì)業(yè)務(wù)產(chǎn)生深遠(yuǎn)的影響。例如對(duì)在線廣告系統(tǒng)，如果處理時(shí)間從十分鐘、一小時(shí)減少到一分鐘，廣告收益會(huì)有本質(zhì)的區(qū)別。查禮認(rèn)為，在解決了實(shí)時(shí)處理這個(gè)“快”的問(wèn)題之后，“準(zhǔn)”的問(wèn)題就迫在眉睫了。而Hadoop/NoSQL就能解決“準(zhǔn)”的問(wèn)題，從而實(shí)現(xiàn)精準(zhǔn)營(yíng)銷，達(dá)到高利潤(rùn)、低成本的目標(biāo)。
此外，Namenode、Scalability（可擴(kuò)展性）、HDFS Performance這些存在已久的問(wèn)題，仍然是Hadoop的技術(shù)熱點(diǎn)。
應(yīng)用需求或者業(yè)務(wù)需求，說(shuō)到底是要為企業(yè)賺錢。企業(yè)對(duì)經(jīng)營(yíng)模式、盈利模式的追求，***導(dǎo)致業(yè)務(wù)追求，這種業(yè)務(wù)追求就反映到對(duì)系統(tǒng)的追求上，所以這些追求決定了有哪些問(wèn)題要解決。例如，High Availability（高可靠性）對(duì)電商來(lái)說(shuō)至關(guān)重要，如果在圣誕節(jié)宕機(jī)一小時(shí)，損失可想而知。
兩位Hadoop in china發(fā)起人暢談Hadoop熱點(diǎn)（左為韓軼平，右為查禮）
Hadoop應(yīng)用場(chǎng)景
可能是長(zhǎng)久苦于大數(shù)據(jù)處理手段有限的緣故，隨著Hadoop應(yīng)用的不斷拓展，使很多人陷入了對(duì)它的盲目崇拜中，認(rèn)為它能解決一切問(wèn)題。
對(duì)此，韓軼平說(shuō)：“在我們研發(fā)中心的每次Hadoop訓(xùn)練班開(kāi)學(xué)時(shí)，我都會(huì)告誡學(xué)員務(wù)必記住‘Hadoop不是***的’。在做具體工作時(shí)，首先要考量它是否適合使用Hadoop。”這正如Doug Cutting所說(shuō)：“如果一個(gè)小任務(wù)用一個(gè)節(jié)點(diǎn)就能完成，為何還多此一舉用Hadoop呢？”但如果任務(wù)當(dāng)前很小，考慮到以后會(huì)有暴漲的話，***還是一開(kāi)始就用Hadoop來(lái)實(shí)現(xiàn)，以便保持將來(lái)良好的可擴(kuò)展性。因此，在動(dòng)手做之前，這些問(wèn)題都應(yīng)該要想清楚，如果沒(méi)有把握的話，可以多參加一些社區(qū)討論和交流活動(dòng)，看看哪些人、哪些公司在做類似的事情、有哪些經(jīng)驗(yàn)教訓(xùn)，參考過(guò)后，再去做選型：技術(shù)到底怎樣構(gòu)架、應(yīng)用怎樣來(lái)組合這些技術(shù)。總之，做到不迷信、不盲從。
從狹義上來(lái)說(shuō)，Hadoop就是MapReduce+HDFS，也就是一種離線處理或者批處理的模式。一方面，如果需求是對(duì)在線請(qǐng)求馬上得到結(jié)果，Hadoop肯定不適合；另一方面，MapReduce是一個(gè)簡(jiǎn)化的并行模型，假設(shè)硬件總是要壞的，所以它中間所有的交互模式都做得很可靠、簡(jiǎn)單。這樣一來(lái)，Hadoop能夠處理的負(fù)載或者應(yīng)用，就會(huì)相對(duì)較窄。
而互聯(lián)網(wǎng)應(yīng)用模式是一種簡(jiǎn)單模式，傳統(tǒng)IT行業(yè)則復(fù)雜得多，路數(shù)與互聯(lián)網(wǎng)企業(yè)完全不同，正因如此，Hadoop率先在互聯(lián)網(wǎng)企業(yè)獲得成功。但以后Hadoop極可能應(yīng)用到傳統(tǒng)IT行業(yè)，比如MIS或者ERP。在傳統(tǒng)IT行業(yè)中，Hadoop是否保持原樣，繼續(xù)是專用系統(tǒng)，還是慢慢演化成為通用系統(tǒng)，現(xiàn)在尚未可知，但已經(jīng)顯露出這樣的苗頭。因此，查禮斷言，Hadoop就像早期的操作系統(tǒng)一樣，剛推出時(shí)是個(gè)專用系統(tǒng)，經(jīng)過(guò)多年的發(fā)展，才成為通用系統(tǒng)。這也符合計(jì)算機(jī)行業(yè)中從專用到通用的螺旋上升趨勢(shì)。
雖然目前Hadoop在大企業(yè)，特別是互聯(lián)網(wǎng)大企業(yè)中應(yīng)用較多，但韓軼平認(rèn)為這并不是因?yàn)榇嬖诩夹g(shù)門檻的緣故，而是一方面要看企業(yè)是否需要做Hadoop，另一方面則是因?yàn)橄馞acebook、Google、Yahoo!這樣的公司得到了較多的媒體曝光，為人所熟知，而更多的小公司，不管是國(guó)內(nèi)還是國(guó)外，都在用Hadoop，可能規(guī)模較小、業(yè)務(wù)相對(duì)簡(jiǎn)單。而數(shù)據(jù)的膨脹，也讓我們很難定義何為“小”公司了：硅谷一家創(chuàng)業(yè)公司，員工只有13人，但在Amazon租用了1400臺(tái)機(jī)器跑它的一個(gè)搜索業(yè)務(wù)。
Hadoop主力誰(shuí)屬
Doug Cutting曾說(shuō)：“Apache軟件基金會(huì)的初衷是不希望始終有企業(yè)在某一個(gè)項(xiàng)目里面一家獨(dú)大，我們希望有更多的人參與進(jìn)來(lái)，希望有更多的交流和碰撞。”因此，盡管目前Yhaoo!在Hadoop中的貢獻(xiàn)還是***，但其占比一直在下降，這在韓軼平看來(lái)是件好事，因?yàn)楝F(xiàn)在有更多的公司在為Hadoop做貢獻(xiàn)，Hadoop生態(tài)系統(tǒng)也日益完善。
目前看來(lái)，對(duì)Yahoo!老大地位形成挑戰(zhàn)的幾家勢(shì)頭較猛的公司是Cloudera、Facebook、Hortonworks，還包括國(guó)內(nèi)的企業(yè)，比如華為的增長(zhǎng)就很快。盡管華為此前從不開(kāi)源，但現(xiàn)在還能夠往Hadoop社區(qū)里面做貢獻(xiàn)，也著實(shí)讓人感到驚訝。韓軼平點(diǎn)評(píng)道：“這也從側(cè)面反映了開(kāi)源在中國(guó)慢慢得到認(rèn)可了。”查禮則認(rèn)為：“我覺(jué)得還是Hadoop給它帶來(lái)了好處，或者至少?zèng)]有什么壞處。”
MapR在特定應(yīng)用場(chǎng)景下做出了貢獻(xiàn)
2011年5月，MapR公司推出分布式文件系統(tǒng)和MapReduce引擎——MapR Distribution for Apache Hadoop，號(hào)稱比開(kāi)源版本的Hadoop性能高數(shù)倍。
對(duì)此，韓軼平解釋道：“在今年的Hadoop Summit上，我了解到MapR確實(shí)在某些特定的應(yīng)用場(chǎng)景和特定的問(wèn)題規(guī)模下，起到了一定的效果。這樣的優(yōu)化對(duì)業(yè)界和整個(gè)社區(qū)絕對(duì)是件好事，因?yàn)榭傮w上能夠推進(jìn)技術(shù)的發(fā)展。但我又不認(rèn)為它能夠完全解決問(wèn)題，因?yàn)橐袶adoop做成一個(gè)通用系統(tǒng)，把所有問(wèn)題都解決，還有很漫長(zhǎng)的路要走。我很欣賞針對(duì)一類具體的問(wèn)題，去提供一類的優(yōu)化解決方案，這是絕對(duì)可能的，因?yàn)楫?dāng)整個(gè)產(chǎn)業(yè)擴(kuò)大了以后，必然會(huì)出現(xiàn)某種程度上的分化或者定制化。但我不覺(jué)得它已經(jīng)本質(zhì)性地改變了Hadoop。而對(duì)于它公布出來(lái)的成績(jī)，我也不懷疑，因?yàn)樗轻槍?duì)某些限定條件而得出的。”
查禮也表示認(rèn)同：“既然MapR要兼容Hadoop，那么它的模式肯定沒(méi)有創(chuàng)造性或者顛覆性的變化。Hadoop本身有很多能夠優(yōu)化的地方，在某個(gè)Benchmark上完全可以做到比Hadoop快很多。做系統(tǒng)其實(shí)就是在平衡，舍棄一些特性，就像CAP理論一樣，總是有舍有得，不可能設(shè)計(jì)出一個(gè)***的系統(tǒng)。”
2012年Hadoop暢想
2011年，可以看作是Hadoop蓄勢(shì)待發(fā)的準(zhǔn)備年，那么2012年，Hadoop又會(huì)怎樣呢？
韓軼平講出了他的Hadoop愿景：“***，完善Hadoop生態(tài)系統(tǒng)，而不僅僅局限于Hadoop本身的持續(xù)開(kāi)發(fā)、新特征加入和改進(jìn)。第二，希望進(jìn)一步根據(jù)不同的應(yīng)用場(chǎng)景、專業(yè)領(lǐng)域和應(yīng)用邏輯，出現(xiàn)更多的中間件和解決方案，因?yàn)樗鼈兡軌驇椭鶫adoop走出互聯(lián)網(wǎng)公司，走進(jìn)更多的公司和行業(yè)，從而真正推動(dòng)整個(gè)信息產(chǎn)業(yè)和行業(yè)的發(fā)展。”
查禮也暢想道：“2012年應(yīng)該是Hadoop向傳統(tǒng)信息領(lǐng)域進(jìn)軍的一年。在這個(gè)領(lǐng)域，海量數(shù)據(jù)的問(wèn)題早就存在，只是沒(méi)有辦法解決或者解決的成本太高，再加之那種‘反正這樣的問(wèn)題同行們也都解決不了’的心態(tài)，所以就先擱置。互聯(lián)網(wǎng)企業(yè)已經(jīng)為Hadoop的應(yīng)用做出了表率，明年完全有理由期待它在傳統(tǒng)信息領(lǐng)域得到更多的應(yīng)用。”
眾所周知，傳統(tǒng)行業(yè)手中握有非常多的數(shù)據(jù)，但苦于沒(méi)有好的方法充分利用起來(lái)。通過(guò)像Hadoop這樣的大數(shù)據(jù)處理技術(shù)，完全可以幫助傳統(tǒng)行業(yè)創(chuàng)造出更新的價(jià)值：一方面可以使其傳統(tǒng)業(yè)務(wù)邏輯得到更有效的實(shí)現(xiàn)，另一方面也能夠培養(yǎng)出一種思維和方法，使其慢慢從中發(fā)現(xiàn)更多的價(jià)值，并進(jìn)而延伸出更多的價(jià)值。此外，Hadoop還可能催生很多其他行業(yè)，例如可以將高鐵網(wǎng)絡(luò)上的所有運(yùn)行數(shù)據(jù)、軌道數(shù)據(jù)采集處理以后，進(jìn)行優(yōu)化，就會(huì)對(duì)交通運(yùn)輸?shù)膬r(jià)格體系和物流體系產(chǎn)生深遠(yuǎn)影響。
社會(huì)總是要前進(jìn)，需要有更新的產(chǎn)業(yè)出現(xiàn)，Hadoop是一個(gè)值得信賴的推動(dòng)引擎。
