Cloudera實現(xiàn)Hadoop過程中Hadoop設置揭秘
本節(jié)接著上節(jié)介紹Cloudera 實現(xiàn)Hadoop 的方法，本節(jié)主要介紹一下對Hadoop的相關設置，相信通過本節(jié)的介紹大家對Cloudera 實現(xiàn)Hadoop 方法有一定的了解。
設置主節(jié)點的Hadoop
設置JAVA_HOME
Hadoop的JAVA_HOME是在文件/etc/conf/hadoop-env.sh中設置，具體設置如下：
sudo vi /etc/conf/hadoop-env.shexport JAVA_HOME="/usr/lib/jvm/java-6-sun"
Hadoop的核心配置
Hadoop的核心配置文件是/etc/hadoop/conf/core-site.xml，具體配置如下：
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>fs.default.name</name><!--<value>hdfs://localhost:8020</value>--><value>hdfs://hadoop-01:8020</value></property><property><name>hadoop.tmp.dir</name><value>/var/lib/hadoop-0.20/cache/${user.name}</value></property></configuration>
設置Hadoop的分布式存儲環(huán)境
Cloudera 實現(xiàn)Hadoop 過程中Hadoop的分布式環(huán)境設置主要是通過文件/etc/hadoop/conf/hdfs-site.xml來實現(xiàn)的，具體配置如下：
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>dfs.replication</name><!--<value>1</value>--><value>3</value></property><property><name>dfs.permissions</name><value>false</value></property><property><!-- specify this so that running 'hadoop namenode -format' formats the right dir --><name>dfs.name.dir</name><value>/var/lib/hadoop-0.20/cache/hadoop/dfs/name</value></property></configuration>
設置Hapoop的分布式計算環(huán)境
Cloudera 實現(xiàn)Hadoop 過程中Hadoop的分布式計算是采用了Map/Reduce算法，該算法環(huán)境的設置主要是通過文件/etc/hadoop/conf/mapred-site.xml來實現(xiàn)的，具體配置如下：
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>mapred.job.tracker</name><!--<value>localhost:8021</value>--><value>hadoop-01:8021</value></property></configuration>
設置Hadoop的主從節(jié)點
首先設置主節(jié)點，編輯/etc/hadoop/conf/masters文件，如下所示：
hadoop-01然后是設置從節(jié)點，編輯/etc/hadoop/conf/slaves文件，如下所示：
hadoop-02hadoop-03hadoop-04firehare-303
設置從節(jié)點上的Hadoop
從節(jié)點上的Hadoop設置很簡單，只需要將主節(jié)點上的Hadoop設置，復制一份到從節(jié)點上即可。
scp -r /etc/hadoop/conf hadoop-02:/etc/hadoopscp -r /etc/hadoop/conf hadoop-03:/etc/hadoopscp -r /etc/hadoop/conf hadoop-04:/etc/hadoopscp -r /etc/hadoop/conf firehare-303:/etc/hadoop。Cloudera 實現(xiàn)Hadoop過程中對Hadoop配置完以后需要啟動Hadoop服務。
啟動Hadoop
格式化分布式文件系統(tǒng)
在啟動Hadoop之前還要做***一個準備工作，那就是格式化分布式文件系統(tǒng)，這個只需要在主節(jié)點做就行了，具體如下：
/usr/lib/hadoop-0.20/bin/hadoop namenode -format
啟動Hadoop服務
啟動Hadoop可以通過以下命令來實現(xiàn)：
/usr/lib/hadoop-0.20/bin/start-all.sh注意：該命令是沒有加sudo的，如果加了sudo就會提示出錯信息的，因為root用戶并沒有做無驗證ssh設置。以下是輸出信息，注意hadoop-03是故意沒接的，所以出現(xiàn)No route to host信息。 這樣Hadoop就正常啟動了！
測試Hadoop
Hadoop架設好了，接下來就是要對其進行測試，看看它是否能正常工作，如果測試已經成功，這說明Hadoop部署成功，能夠在上面進行Map/Reduce分布性計算了。 本節(jié)關于Cloudera 實現(xiàn)Hadoop的相關內容到這里就結束了，謝謝關注。
【編輯推薦】
