Hadoop文件系統如何快速安裝？
本節向大家介紹一下Hadoop文件系統的快速安裝與使用，希望通過本節的介紹大家能夠掌握Hadoop文件系統安裝與使用方法，歡迎大家一起來學習。
Hadoop文件系統（HDFS）快速安裝與使用技術文檔
準備3臺機器，一臺作為Namenode，命名為master，兩臺作為dataNode，命名為slave01,slave02
在3臺機器上都設置hadoop用戶。
設置hadoop用戶從master到slavessh不需要密碼，設置方法參見“設置SSH服務器只采用密鑰認證”一文。
注意：
（1）authorized_keys文件的訪問權限應該設置為644，否則可能導致無密碼登錄失敗。
（2）從master到master登錄也需要配置無密碼登錄，否則會導致Namenode啟動失敗
下載并安裝JDK，并在/etc/profile配置相應的環境變量，比如
JAVA_HOME=/usr/java/jdk1.6.0_18
CLASSPATH=.:$JAVA_HOME/lib
PATH=$JAVA_HOME/bin:$PATH
exportJAVA_HOMECLASSPATHPATH
在三臺機器上創建相同的目錄路徑，為HDFS運行準備環境，比如在/data目錄下創建hadoop目錄，將其屬主改成hadoop，然后在下面如下創建4個目錄：
install：Hadoop源碼解壓后，放在該目錄下
name：HDFS的名字節點存放目錄
data01,data02：HDFS的數據存放目錄，當然也可以是一個。
tmp：臨時空間
注意：name目錄只存放在master上，且權限為755，否則會導致后面的格式化失敗。
編輯Hadoop文件系統HDFS配置文件，所有節點都要保持一致，共有四個：
core-site.xml:核心配置
hdfs-site.xml：站點多項參數配置
masters：主節點，在HDFS中就是Namenode的名稱
slaves：數據節點（Datanode）名稱
各個配置文件舉例
核心配置：core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
站點節點配置：hdfs-site.xml
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>2</value>
- </property>
- <property>
- <name>dfs.name.dir</name>
- <value>/data/hadoop/name</value>
- </property>
- <property>
- <name>dfs.data.dir</name>
- <value>/data/hadoop/data01,/data/hadoop/data02</value>
- </property>
- <property>
- <name>dfs.tmp.dir</name>
- <value>/data/hadoop/tmp</value>
- </property>
- </configuration>
主節點名稱：masters
master
數據節點名稱：slaves
master
slave01
slave02
注意：(1)如需要，可以在hadoop-env.sh中配置JAVA_HOME變量，比如：
exportJAVA_HOME=/usr/java/jdk1.6.0_18
(2)保證Hadoop文件系統各個節點上配置文件的一致性。
初始化namenode節點
登錄到namenode上，cd/data/hadoop/install/bin，然后格式化Image文件的存儲空間：
./hadoopnamenode-format
如果出錯，就查看/data/hadoop/install/logs下的日志文件。
啟動HDFS服務
在/data/hadoop/install/bin下有很多命令，
*start-all.sh啟動所有的Hadoop守護，包括namenode,datanode，jobtracker，tasktrack，secondarynamenode。
*stop-all.sh停止所有的Hadoop。
*start-mapred.sh啟動Map/Reduce守護，包括Jobtracker和Tasktrack。
*stop-mapred.sh停止Map/Reduce守護
*start-dfs.sh啟動HadoopDFS守護，Namenode和Datanode。
*stop-dfs.sh停止DFS守護
簡單使用
創建目錄：./hadoopdfs-mkdirtest
查看目錄：./hadoopdfs-ls
drwxr-xr-x-hadoopsupergroup02010-03-0421:27/user/hadoop/test
拷貝文件：./hadoopdfs-put/etc/servicestest，即把本地的文件存放到HDFS中
WEB界面
HDFS啟動后，可以通過WEB界面來查看，缺省端口為50070，比如：http://master:50070/
即可查看整個HDFS的狀態以及使用統計。
對于Mapreduce的WEB界面，缺省端口是50030。本節關于Hadoop文件系統的安裝與使用介紹到這里。
【編輯推薦】
