Cloudera下實(shí)現(xiàn)Hadoop方案規(guī)劃
本節(jié)向大家介紹一下利用Cloudera 實(shí)現(xiàn)Hadoop 的方法，這里主要介紹一下Hadoop的概念和利用Cloudera 實(shí)現(xiàn) Hadoop 的規(guī)劃，希望通過本節(jié)的介紹大家對(duì)利用Cloudera 實(shí)現(xiàn)Hadoop 有一定的認(rèn)識(shí)。
利用 Cloudera 實(shí)現(xiàn)Hadoop
前言
Hadoop 是一個(gè)實(shí)現(xiàn)了 MapReduce 計(jì)算模型的開源分布式并行編程框架。MapReduce的概念來源于Google實(shí)驗(yàn)室，它是一個(gè)簡化并行計(jì)算的編程模型，適用于大規(guī)模集群上的海量數(shù)據(jù)處理，目前最成功的應(yīng)用是分布式搜索引擎。隨著2007年底該模式Java開源實(shí)現(xiàn)項(xiàng)目Apache Hadoop的出現(xiàn)，使得程序員可以輕松地編寫分布式并行程序，并將其運(yùn)行于計(jì)算機(jī)集群上，完成海量數(shù)據(jù)的計(jì)算。近兩年尤其是今年國內(nèi)外采用 MapReduce模型的應(yīng)用也逐漸豐富起來，如像NTT KDDI和中國移動(dòng)這類的電信公司采用該模型分析用戶信息，優(yōu)化網(wǎng)絡(luò)配置；美國供電局采用該模型來分析電網(wǎng)現(xiàn)狀；包括VISA和JP摩根在內(nèi)的金融公司采用該模型來分析股票數(shù)據(jù)；包括Amazon和ebay在內(nèi)的零售商和電子商務(wù)公司也開始采用該模型；甚至部分生物公司也采用該模型來進(jìn)行DNA測(cè)序和分析。然而Hadoop安裝、部署、管理的難度非常大，這使用很多用戶對(duì)Hadoop望而卻步，好在這種情況不久就得到了改善，Cloudera提供了非常簡單的Hadoop的發(fā)布版本，能夠十分方便地對(duì)Hadoop進(jìn)行安裝、部署和管理，這導(dǎo)致目前大約有75％的Hadoop新用戶使用Cloudera。下面是利用Cloudera 實(shí)現(xiàn)Hadoop 的具體規(guī)劃。
規(guī)劃
運(yùn)行模式
Hadoop有三種運(yùn)行模式：單機(jī)（非分布）運(yùn)行模式、偽分布運(yùn)行模式和分布式運(yùn)行模式。其中前兩種運(yùn)行模式體現(xiàn)不了 Hadoop 分布式計(jì)算的優(yōu)勢(shì)，并沒有什么實(shí)際意義（當(dāng)然它們對(duì)程序的測(cè)試及調(diào)試還是很有幫助的），因此在這里還是采用實(shí)際環(huán)境中使用的分布式運(yùn)行模式來部署。
主機(jī)規(guī)劃
在這里擬采用三臺(tái)主機(jī)搭建Hadoop環(huán)境，由于后期還需要測(cè)試增刪主機(jī)及跨網(wǎng)段主機(jī)對(duì)Hadoop環(huán)境的影響，特將Hadoop主機(jī)規(guī)劃如下：Hadoop-01 10.137.253.201Hadoop-02 10.137.253.202Hadoop-03 10.137.253.203 準(zhǔn)備后期加入的測(cè)試主機(jī)Hadoop-04 10.137.253.204Firehare-303 10.10.3.30 準(zhǔn)備后期加入的跨網(wǎng)段測(cè)試主機(jī)
Hadoop環(huán)境規(guī)劃
對(duì)于Hadoop來說，最主要的是兩個(gè)內(nèi)容，一是分布式文件系統(tǒng)HDFS，一是MapReduce計(jì)算模型。在分布式文件系統(tǒng)HDFS看來，節(jié)點(diǎn)分為NameNode 和DataNode，其中NameNode只有一個(gè)，DataNode可以是很多；在MapReduce計(jì)算模型看來，節(jié)點(diǎn)又可分為JobTracker 和 TaskTracker，其中JobTracker只有一個(gè)，TaskTracker可以是很多。因此在實(shí)際的Hadoop環(huán)境中通常有兩臺(tái)主節(jié)點(diǎn),一臺(tái)作為NameNode（I/O節(jié)點(diǎn)？？）,一臺(tái)作為JobTracker（管理節(jié)點(diǎn)？？）,剩下的都是從節(jié)點(diǎn)，同時(shí)當(dāng)做DataNode和 TaskTracker使用。當(dāng)然也可以將NameNode和JobTracker安裝在一臺(tái)主節(jié)點(diǎn)上。由于測(cè)試機(jī)數(shù)量有限，所以在這里是讓 Hadoop-01做為Namenode和Jobtracker，其它主機(jī)則作為DataNode和TaskTracker（如果Hadoop環(huán)境中主機(jī)數(shù)量很多的話，還是建議將Namenode和JobTracker部署到不同的主機(jī)，以提高計(jì)算的性能）。本節(jié)關(guān)于利用Cloudera 實(shí)現(xiàn)Hadoop 的規(guī)劃介紹完畢，請(qǐng)關(guān)注下節(jié)Hadoop安裝。
【編輯推薦】
