Hadoop命令參考


在“$HADOOP_HOME/bin/hadoop fs” 裡有更多的命令。./bin/hadoop DFS 列出所有可以使用在FsShell系統上執行的命令。此外,$HADOOP_HOME/bin/hadoop fs -help 命令名稱會顯示一個簡短的用法。

所有表的操作如下所示。以下是使用引數一般方式:

"<path>" means any file or directory name. 
"<path>..." means one or more file or directory names. 
"<file>" means any filename. 
"<src>" and "<dest>" are path names in a directed operation. 
"<localSrc>" and "<localDest>" are paths as above, but on the local file system. 

所有其他檔案和路徑名是指HDFS內部的物件。

1.

ls <path>

列出路徑指定的目錄中的內容,示出了名稱,許可權,擁有者,大小和修改日期的每個條目。

2.

lsr <path>

行為類似於-ls,但遞回顯示路徑的所有子目錄項。

3.

du <path>

顯示磁碟使用率,以位元組為單位,對所有的檔案,這些檔案匹配的路徑;檔案名報告使用完整HDFS協定字首。

4.

dus <path>

類似-du,但列印路徑中的所有檔案/目錄的磁碟使用情況的摘要。

5.

mv <src><dest>

通過移動表示src到dest,在HDFS的檔案或目錄。

6.

cp <src> <dest>

在HDFS複製確定src中的檔案或目錄到dest。

7.

rm <path>

刪除檔案或路徑標識的空目錄。

8.

rmr <path>

刪除路徑標識的檔案或目錄。遞回刪除所有子條目(例如,檔案或路徑的子目錄)。

9.

put <localSrc> <dest>

從本地localSrc檔案系統中的DFS標識檔案或目錄內複製到dest。

10.

copyFromLocal <localSrc> <dest>

等同於-put

11.

moveFromLocal <localSrc> <dest>

從標識 localSrc本地檔案系統中的檔案或目錄中HDFS複製到dest,然後刪除本地副本上成功。

12.

get [-crc] <src> <localDest>

拷貝標識 src 來確定localDest本地檔案系統路徑HDFS檔案或目錄。

13.

getmerge <src> <localDest>

檢索匹配的路徑的src HDFS中的所有檔案,並將它們複製合併檔案到標識localDest本地檔案系統中

14.

cat <filen-ame>

顯示在標準輸出檔案名的內容。

15.

copyToLocal <src> <localDest>

等同於 -get

16.

moveToLocal <src> <localDest>

工作方式類似於-get,但刪除HDFS複製成功。

17.

mkdir <path>

在建立一個HDFS命名的目錄路徑。

建立任何父目錄的路徑丟失(例如,命令mkdir-p在Linux中)。

18.

setrep [-R] [-w] rep <path>

設定標識路徑代表檔案的目標檔案複製因子。 (實際的複制因子會向著隨著時間的推移目標移動)

19.

touchz <path>

建立在路徑包含當前時間作為時間戳的檔案。失敗如果檔案已經存在於路徑,除非檔案已經大小為0。

20.

test -[ezd] <path>

返回1,如果路徑存在;長度為零;或者是一個目錄,否則為0。

21.

stat [format] <path>

列印有關的路徑資訊。格式是接受塊檔案大小(%b),檔案名(%n),塊大小(%o),複製(%r)和修改日期(%y,%Y)的字串。

22.

tail [-f] <file2name>

顯示在標準輸出檔案的最後1KB。

23.

chmod [-R] mode,mode,... <path>...

變化符合路徑標識的一個或多個物件關聯的檔案許可權....遞回執行變更與R.模式是3位八進位制模式,或{augo}+/-{rwxX}。假設如果沒有指定範圍,則不適用umask。

24.

chown [-R] [owner][:[group]] <path>...

設定擁有使用者和/或組標識路徑的檔案或目錄....設定所有者遞回,如果指定-R。

25.

chgrp [-R] group <path>...

設定所屬組標識路徑的檔案或目錄....設定組遞回,如果指定-R。

26.

help <cmd-name>

返回使用上面列出的命令之一資訊。必須省略了'-' 字元在cmd。