hadoop-0.20.1部署手冊新手必備
本節向大家介紹一下hadoop-0.20.1部署步驟，主要包括部署Hadoop和初始化和啟動hadoop集群以及測試三部分內容，相信通過本節的學習大家對hadoop-0.20.1部署有一定的了解。
hadoop-0.20.1部署
因為需要分析大量的訪問日志，現有的分析方式（單機）不能滿足需求，因此需要部署hadoop來解決這個問題。在我做分布式文件系統之前，曾經部署測試過hadoop，使用的版本為hadoop-0.19.0，記得當時配置起來很快就成功了。這次測試，我使用的是***版本hadoop-0.20.1,在部署過程中，花了不少時間才做成功（2天）。為備忘，特記錄之。
hadoop-0.20.1跟舊的版相比，有些文件發生了變化，主要的變化是conf目錄，
網上現有的hadoop文章，需要修改的文件是hadoop-site.xml,可是hadoop-0.20.1版本確沒有這個文件，取而代之的是core-site.xml。
一、部署hadoop
hadoop部署分兩步：名稱節點（namenode）無密碼訪問各數據節點(datanode)和配置hadoop.我的實驗環境為一個名稱節點，兩個數據節點.不幸的是其中的一個數據節點壞了。因此只能用一個數據節點來測試。在這個測試中，namenode的ip:192.168.199.135，datanode的ip:192.168.199.136.
(一)、名稱節點（namenode）無密碼訪問各數據節點(datanode)
1、名稱節點和數據節點各自創建用戶hadoop,使用相同的密碼。
2、以hadoop用戶名登陸名稱節點執行ssh-keygen-trsa然后一路回車，完畢后生成文件.ssh/id_rsa.pub,把這個文件復制到當前位置，命名為authorized_keys；然后執行命令ssh127.0.0.1,如果不需要密碼則直接登陸進去的話，就達到要求；否則需檢查authorized_keys的權限，看是否為644（-rw-r–r–）。接下來，同樣也hadoop用戶登陸數據節點服務器，創建.ssh目錄，并給與600權限（chmod600.ssh）;再把名稱服務器上的authorized_keys復制到目錄./ssh,注意權限和目錄結構跟名稱節點保持一致，然后再從名稱節點用ssh登陸數據節點，如果不需要密碼能登陸成功，則ssh的配置結束。再來看一下hadoop-0.20.1部署中Hadoop的配置。
(二)hadoop配置
1、下載jdk并設置。我的JAVA_HOME=/usr/local/jdk1.6.0_06
2、下載hadoop，解包，復制到/usr/local/hadoop.即HADOOP_HOME=/usr/local/hadoop
3、數據存放目錄分離，即數據的實際存放不在HADOOP_HOME（網上的n多文章是在hadoop安裝目錄）.我用2個1TB的硬盤單獨來存放實際的數據塊，其名稱為/disk2,/disk3.格式化這兩個硬盤并創建文件系統，然后掛接到這2個目錄。相關步驟省略。
4、設置目錄、文件的屬主。chown-Rhadoop:hadoop/disk2/disk3/usr/local/hadoop
5、在文件/usr/local/hadoop/conf/mapred-site.xml加入如下內容：
- <property>
- <name>mapred.job.tracker</name>
- <value>hadoopm:9001</value>
- <description>ThehostandportthattheMapReducejobtrackerrunsat.If“local”,thenjobsarerunin-processasasinglemapand
- reducetask.</description>
- </property>
6、修改文件/usr/local/hadoop/conf/slaves及/usr/local/hadoop/conf/masters,把數據節點的主機名加到slaves、名稱節點主機名加到masters。可以加多個，每行一個。注意主機名需要在每個服務器的/etc/hosts映射好。
7、修改文件/usr/local/hadoop/conf/hadoop-env.sh,加入exportJAVA_HOME=/usr/local/jdk1.6.0_06一行即可。
8、在每個數據節點重復1~6這些步驟。
二、初始化和啟動hadoop集群
（一）hadoop的大部分操作都是在命名節點進行的。以hadoop用戶登陸系統然后執行hadoopnamenode-format,一般都能順利完成這個過程。執行完初始化后，各數據節點并沒有進行任何操作（最重要的事情就是生成一堆目錄）。
（二）啟動hadoop服務。命名服務器以hadoop用戶執行start-all.sh.查看進程，如果正常，應該看見2-3個java進程。啟動正常的話，數據節點開始生成相關的目錄。其對比輸出如下：
三、測試
1、查看hadoop狀態，使用命令$hadoopdfs-report.
2、創建目錄。$hadoopdfs-mkdirsery,然后再傳幾個大文件$hadoopdfs-put7.*sery.傳了900M左右的數據（2個iso文件），很快傳完。
3、故障測試。需要2個數據節點，先關閉一個數據節點，然后網hadoop創建目錄和拷貝數據。完畢后啟動被關閉的數據節點的服務，觀察其運行情況。本節關于hadoop-0.20.1部署介紹到這里。
【編輯推薦】
- Hadoop完全分布模式安裝實現詳解
- Windows下輕松實現Hadoop開發環境安全配置
- Hadoop文件系統如何快速安裝？
- Hadoop集群搭建過程中相關環境配置詳解
- Hadoop完全分布模式安裝實現詳解
