Hadoop HDFS操作


啟動HDFS

首先,格式化組態HDFS檔案系統,開啟NameNode(HDFS伺服器),然後執行以下命令。

$ hadoop namenode -format 

格式化HDFS後,啟動分散式檔案系統。以下命令將啟動名稱節點和資料節點的叢集。

$ start-dfs.sh 

HDFS的檔案列表

載入伺服器資訊後,使用'ls' 可以找出檔案列表中的目錄,檔案狀態。下面給出的是ls,可以傳遞一個目錄或檔案名作為引數的語法。

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

將資料插入到HDFS

假設在本地系統,這是所謂的file.txt檔案中的資料,應當儲存在HDFS檔案系統。按照下面給出插入在Hadoop的檔案系統所需要的檔案的步驟。

第1步

必須建立一個輸入目錄。

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input 

第2步

傳輸並使用本地系統put命令,Hadoop檔案系統中儲存的資料檔案。

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input 

第3步

可以使用ls命令驗證檔案。

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input 

從HDFS中檢索資料

假設在HDFS檔案名為outfile。下面給出的是一個簡單的演示用於檢索從Hadoop檔案系統所需的檔案。

第1步

最初,使用cat命令來檢視來自HDFS的資料。

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile 

第2步

從HDFS得到檔案使用get命令在本地檔案系統。

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/ 

關閉HDFS

可以使用下面的命令關閉HDFS。

$ stop-dfs.sh