本節(jié)比較全面的向大家介紹一下Hadoop命令，歡迎大家一起來(lái)學(xué)習(xí)，希望通過(guò)本節(jié)的介紹大家能夠掌握一些常見(jiàn)Hadoop命令的使用方法。下面是Hadoop命令的詳細(xì)介紹。

Hadoop命令大全

1、列出所有HadoopShell支持的命令
$bin/hadoopfs-help

2、顯示關(guān)于某個(gè)命令的詳細(xì)信息
$bin/hadoopfs-helpcommand-name

3、用戶可使用以下命令在指定路徑下查看歷史日志匯總
$bin/hadoopjob-historyoutput-dir
這條命令會(huì)顯示作業(yè)的細(xì)節(jié)信息，失敗和終止的任務(wù)細(xì)節(jié)。

4、關(guān)于作業(yè)的更多細(xì)節(jié)，比如成功的任務(wù)，以及對(duì)每個(gè)任務(wù)的所做的嘗試次數(shù)等可以用下面的命令查看
$bin/hadoopjob-historyalloutput-dir

5、格式化一個(gè)新的分布式文件系統(tǒng)：
$bin/hadoopnamenode-format

6、在分配的NameNode上，運(yùn)行下面的Hadoop命令啟動(dòng)HDFS：
$bin/start-dfs.sh
bin/start-dfs.sh腳本會(huì)參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上啟動(dòng)DataNode守護(hù)進(jìn)程。

7、在分配的JobTracker上，運(yùn)行下面的命令啟動(dòng)Map/Reduce：
$bin/start-mapred.sh
bin/start-mapred.sh腳本會(huì)參照J(rèn)obTracker上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上啟動(dòng)TaskTracker守護(hù)進(jìn)程。

8、在分配的NameNode上，執(zhí)行下面的Hadoop命令停止HDFS：
$bin/stop-dfs.sh
bin/stop-dfs.sh腳本會(huì)參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上停止DataNode守護(hù)進(jìn)程。

9、在分配的JobTracker上，運(yùn)行下面的命令停止Map/Reduce：
$bin/stop-mapred.sh
bin/stop-mapred.sh腳本會(huì)參照J(rèn)obTracker上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上停止TaskTracker守護(hù)進(jìn)程。

DFSShell

10、創(chuàng)建一個(gè)名為/foodir的目錄
$bin/hadoopdfs-mkdir/foodir

11、創(chuàng)建一個(gè)名為/fodir的目錄
$bin/hadoopdfs-mkdir/fodir

12、查看名為/foodir/myfile.txt的文件內(nèi)容
$bin/hadoopdfs-cat/foodir/myfile.txt

DFSAdmin

13、將集群置于安全模式
$bin/hadoopdfsadmin-safemodeenter

14、顯示Datanode列表
$bin/hadoopdfsadmin-report

15、使Datanode節(jié)點(diǎn)datanodename退役
$bin/hadoopdfsadmin-decommissiondatanodename

16、bin/hadoopdfsadmin-help命令能列出所有當(dāng)前支持的命令。比如：
*-report：報(bào)告HDFS的基本統(tǒng)計(jì)信息。有些信息也可以在NameNodeWeb服務(wù)首頁(yè)看到。
*-safemode：雖然通常并不需要，但是管理員的確可以手動(dòng)讓NameNode進(jìn)入或離開(kāi)安全模式。
*-finalizeUpgrade：刪除上一次升級(jí)時(shí)制作的集群備份。

17、顯式地將HDFS置于安全模式
$bin/hadoopdfsadmin-safemode

18、在升級(jí)之前，管理員需要用（升級(jí)終結(jié)操作）Hadoop命令刪除存在的備份文件
$bin/hadoopdfsadmin-finalizeUpgrade

19、能夠知道是否需要對(duì)一個(gè)集群執(zhí)行升級(jí)終結(jié)操作。
$dfsadmin-upgradeProgressstatus

20、使用-upgrade選項(xiàng)運(yùn)行新的版本
$bin/start-dfs.sh-upgrade

21、如果需要退回到老版本,就必須停止集群并且部署老版本的Hadoop，用回滾選項(xiàng)啟動(dòng)集群
$bin/start-dfs.h-rollback

22、下面的新命令或新選項(xiàng)是用于支持配額的。前兩個(gè)是管理員命令。
*dfsadmin-setquota<N><directory>...<directory>
把每個(gè)目錄配額設(shè)為N。這個(gè)命令會(huì)在每個(gè)目錄上嘗試，如果N不是一個(gè)正的長(zhǎng)整型數(shù)，目錄不存在或是文件名，或者目錄超過(guò)配額，則會(huì)產(chǎn)生錯(cuò)誤報(bào)告。
*dfsadmin-clrquota<directory>...<director>
為每個(gè)目錄刪除配額。這個(gè)命令會(huì)在每個(gè)目錄上嘗試，如果目錄不存在或者是文件，則會(huì)產(chǎn)生錯(cuò)誤報(bào)告。如果目錄原來(lái)沒(méi)有設(shè)置配額不會(huì)報(bào)錯(cuò)。
*fs-count-q<directory>...<directory>
使用-q選項(xiàng)，會(huì)報(bào)告每個(gè)目錄設(shè)置的配額，以及剩余配額。如果目錄沒(méi)有設(shè)置配額，會(huì)報(bào)告none和inf。

23、創(chuàng)建一個(gè)hadoop檔案文件
$hadooparchive-archiveNameNAME<src>*<dest>
-archiveNameNAME要?jiǎng)?chuàng)建的檔案的名字。
src文件系統(tǒng)的路徑名，和通常含正則表達(dá)的一樣。
dest保存檔案文件的目標(biāo)目錄。

24、遞歸地拷貝文件或目錄
$hadoopdistcp<srcurl><desturl>
srcurl源Url
desturl目標(biāo)Url。請(qǐng)期待下節(jié)關(guān)于Hadoop命令的介紹。

【編輯推薦】

1. 常見(jiàn)Hadoop命令使用方法詳解
2. Hadoop命令手冊(cè)使用指南
3. Hadoop集群與Hadoop性能優(yōu)化
4. HadoopHBase實(shí)現(xiàn)配置簡(jiǎn)單的單機(jī)環(huán)境
5. 深入剖析Hadoop HBase