本節(jié)繼續(xù)向大家介紹hadoop應用中Hadoop安裝方面的內(nèi)容，上節(jié)我們介紹了Hadoop安裝之前的環(huán)境配置，下面就開始Hadoop安裝了，歡迎大家一起來學習，希望通過本節(jié)介紹大家對Hadoop應用有深一步的理解。

一，安裝hadoop系統(tǒng)

1，添加用戶（所有namenode和datanode需要使用相同的用戶名,所有的信息傳輸需要用戶認證）
freebsd7test1#adduser
Username:rhinuxdoop
Fullname:
Uid(Leaveemptyfordefault):
Logingroup[rhinuxdoop]:
Logingroupisrhinuxdoop.Inviterhinuxdoopintoothergroups?[]:
Loginclass[default]:
Shell(shcshtcshbashrbashnologin)[sh]:bash//注意***使用bash,其實程序運行的時候會自動指定shell環(huán)境
Homedirectory[/home/rhinuxdoop]:/services/rhinuxdoop
客戶端必須是和服務端同樣的用戶名

2，hadoop需要使用rsync+ssh同步狀態(tài)和數(shù)據(jù)，需要無需輸入密碼就可訪問,所以設置用密鑰認證
a,生產(chǎn)密鑰對（用添加的用戶操作本例用戶為rhinuxdoop）
[rhinuxdoop@freebsd7test1~]$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
默認在~/.ssh/下
b,在本機用戶中添加
[rhinuxdoop@freebsd7test1~]$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
c,添加到其他datanode
將namenoderhinuxdoop用戶目錄下.ssh/id_rsa.pub文件內(nèi)容導入其他datanode
[rhinuxdoop@freebsd7test2~]$catid_dsa.pub>>~/.ssh/authorized_keys
d，測試：用rhinuxdoop在namenode上登陸讓后ssh到所有的datanode（本例中包括自己機器）
應該無需密碼就可以登陸

3，下載hadoop安裝軟件
a,去http://hadoop.apache.org/core/下載***版本hadoop目前為0.16.0版
b,解壓hadoop-0.16.0.tar.gz到用戶目錄/services/rhinuxdoop/
[rhinuxdoop@freebsd7test1~]$tarzxvfhadoop-0.16.0.tar.gz.

4,hadoop-0.16.0目錄結構說明：
a,bin存放腳本程序，
比如主控制程序hadoop,
啟動腳本start-all.sh--啟動所有hadoop進程start-dfs.sh--啟動DFS進程start-mapred.sh啟動MAP/Reduce進程
停止腳本stop-all.shstop-dfs.shstop-mapred.sh
b，conf配置文件目錄，
環(huán)境配置文件hadoop-env.sh可以配置環(huán)境變量，比如JAVA_HOME已經(jīng)系統(tǒng)默認等。
默認配置文件hadoop-default.xml此文件不能修改需要設置參數(shù)請修改hadoop-site.xml
自定義配置文件hadoop-site.xml此文件可以自定義配置，出現(xiàn)在該文件中的配置項，系統(tǒng)將自動取代默認配置文件hadoop-default.xml中的配置項
namenode指定文件masters此文件來指定master(namenode)機器名
datanode指定文件slaves此文件來指定slave(datanode)機器列表，每臺機器名占一行
c，log目錄
默認日志存放目錄
d，各配置文件具體參數(shù)說明和研究下一個版本中給出。下面我們看一下Hadoop安裝過程中hadoop配置(freebsd7test1)。

5，hadoop配置(freebsd7test1)：
a,建立namenode存儲目錄及數(shù)據(jù)目錄
[rhinuxdoop@freebsd7test1~]$mkdir-p/services/rhinuxdoop/hadoop-0.16.0/filesystem/name
[rhinuxdoop@freebsd7test1~]$mkdir-p/services/rhinuxdoop/hadoop-0.16.0/filesystem/data
b,配置環(huán)境變量，編輯./conf/hadoop-env.sh
===============hadoop-env.sh====================
exportJAVA_HOME=/usr/local/jdk1.5.0
#至少要設置JAVA_HOME，另外也可以設置HADOOP_HOME-系統(tǒng)目錄,HADOOP_HOME默認為bin目錄的父目錄
=================================================

c，配置hadoop-site.xml(關于可配置項已經(jīng)各配置項的說明可以參考hadoop-default.xml)
配置項格式為：
 

<property> 
<name>io.file.buffer.size</name> 
<value>4096</value> 
<description>Thesizeofbufferforuseinsequencefiles.  
Thesizeofthisbuffershouldprobablybeamultipleofhardware  
pagesize(4096onIntelx86),anditdetermineshowmuchdatais  
bufferedduringreadandwriteoperations.</description> 
</property> 
 
<property> 
<name>配置項名字</name> 
<value>配置項的值</value> 
<description>配置項的說明此文字只是幫助人理解用.</description> 
</property> 
 

 格式化namenode
[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopnamenode-format
無報錯既可，Hadoop安裝過程中freebsd7test1基本配置已完成

6，hadoop配置(freebsd7test2及其他datanode)

a，其他datanode必須保持namenode相同的目錄結構所以把namenode目錄復制過去
[rhinuxdoop@freebsd7test1~]$scp-rhadoop-0.16.0172.16.27.82:/services/rhinuxdoop/

7，啟動hadoop
[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/start-all.sh
此時會告知日志記錄的目錄和文件名，日志記錄基本可以在hadoop-site.xml中設定默認在hadoop-default.xml中設置為info

8,查看和測試。

a,系統(tǒng)開啟9000和9001端口分別為dfs的namenode和mapreduce的jobtracke監(jiān)聽口。

b,查看datanode狀態(tài)：[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopdfsadmin-report可以看到各點的狀態(tài)

c,存放文件：[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopfs-put/home/xuyunfeng/tzupdater-1.3.3-2007k.ziptzupdater-1.3.3-2007k.zip
將在本地系統(tǒng)目錄的/home/xuyunfeng/tzupdater-1.3.3-2007k.zip存入hadoop文件系統(tǒng)根目錄中。

d,查看hadoop文件系統(tǒng)目錄[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopfs-ls
/user/rhinuxdoop/diablo-caffe-freebsd6-i386-1.5.0_07-b01.tar.bz2<r3>543472742008-02-2810:57rw-r--r--rhinuxdoopsupergroup
/user/rhinuxdoop/tzupdater-1.3.3-2007k.zip<r3>2637152008-02-2816:16rw-r--r--rhinuxdoopsupergroup

e,更多hadoop文件系統(tǒng)命令操作請參考手冊

f，api調用測試后續(xù)

g,可以通過web形式去瀏覽NameNode和JobTracker，默認端口為：
◆NameNode-http://freebsd7test1.rhinux.com:50070
◆JobTracker-http://freebsd7test1.rhinux.com:50030
◆需要在瀏覽的機器上配置好hosts。至此本節(jié)關于Hadoop應用中Hadoop安裝內(nèi)容介紹完畢。

【編輯推薦】

1. Hadoop Hdfs配置過程全程報道
2. Hadoop命令手冊使用指南
3. 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲設計
4. 兩種模式運行Hadoop分布式并行程序
5. Hadoop概念及其用法專家講解