Hadoop多節點叢集 - tw511教學網

本章介紹了在分散式環境中Hadoop多節點叢集的設定。

由於整個叢集不能表現出來，這裡作為範例，我們使用三個系統(一個主機和兩個從機)的Hadoop叢集環境;下面給出的是其IP地址。

Hadoop 主機: 192.168.1.15 (hadoop-master)
Hadoop 從機: 192.168.1.16 (hadoop-slave-1)
Hadoop 從機: 192.168.1.17 (hadoop-slave-2)

按照下面給出Hadoop的多節點叢集設定的步驟。

安裝Java

Java是Hadoop的主要先決條件。首先，應該使用 “java -version”在系統上檢查 java 是否已經安裝。Java version 命令的語法如下。

$ java -version

如果一切正常，它會給出下面的輸出。

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果Java尚未安裝系統中，那麼可以按照下面給定的步驟來安裝Java。

第1步

下載Java（JDK - X64.tar.gz）通過存取以下連結 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

那麼jdk-7u71-linux-x64.tar.gz下載到系統。

第2步

一般來說，在下載檔案夾中找到下載的Java檔案。使用下面的命令提取 jdk-7u71-linux-x64.gz 檔案。

$ cd Downloads/
$ ls
jdk-7u71-Linux-x64.gz
$ tar zxf jdk-7u71-Linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-Linux-x64.gz

第3步

為了使Java能提供給所有使用者，必須將它移動到 “/usr/local/” 的位置。使用root使用者開啟然後鍵入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

第4步

有關設定 PATH 和 JAVA_HOME 變數，新增以下命令到 ~/.bashrc 檔案。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

現在使用java -version命令從終端驗證上述說明。按照上面的過程，並在所有群集節點安裝java。

建立使用者帳戶

在主機和從機系統上建立一個系統使用者帳戶來安裝Hadoop。

# useradd hadoop 
# passwd hadoop

對映節點

編輯hosts檔案在所有節點的/etc/目錄，指定每個系統後面的主機名和IP地址。

# vi /etc/hosts
enter the following lines in the /etc/hosts file.
192.168.1.109 hadoop-master 
192.168.1.145 hadoop-slave-1 
192.168.56.1 hadoop-slave-2

組態基於金鑰登入

在每一個節點，設定的ssh使得它們可在沒有任何提示密碼彼此通訊。

# su hadoop 
$ ssh-keygen -t rsa 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub yiibai@hadoop-master 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 
$ chmod 0600 ~/.ssh/authorized_keys 
$ exit

安裝Hadoop

在主伺服器上，下載並使用以下命令安裝Hadoop。

# mkdir /opt/hadoop 
# cd /opt/hadoop/ 
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz 
# tar -xzf hadoop-1.2.0.tar.gz 
# mv hadoop-1.2.0 hadoop
# chown -R hadoop /opt/hadoop 
# cd /opt/hadoop/hadoop/

組態Hadoop

必須做以下修改，如下所示組態Hadoop的伺服器。

core-site.xml

開啟 core-site.xml檔案並對其進行編輯，如下圖所示。

<configuration>
   <property> 
      <name>fs.default.name</name> 
      <value>hdfs://hadoop-master:9000/</value> 
   </property> 
   <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
   </property> 
</configuration>

hdfs-site.xml

開啟hdfs-site.xml檔案並對其進行編輯，如下圖所示。

<configuration>
   <property> 
      <name>dfs.data.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name/data</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.name.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
</configuration>

mapred-site.xml

開啟mapred-site.xml檔案並對其進行編輯，如下圖所示。

<configuration>
   <property> 
      <name>mapred.job.tracker</name> 
      <value>hadoop-master:9001</value> 
   </property> 
</configuration>

hadoop-env.sh

開啟hadoop-env.sh檔案並編輯JAVA_HOME，HADOOP_CONF_DIR和HADOOP_OPTS，如下圖所示。

注意：根據系統組態設定JAVA_HOME 。

export JAVA_HOME=/opt/jdk1.7.0_17 export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf

在從伺服器上安裝Hadoop

對所有從伺服器按照給定的命令安裝Hadoop。

# su hadoop 
$ cd /opt/hadoop 
$ scp -r hadoop hadoop-slave-1:/opt/hadoop 
$ scp -r hadoop hadoop-slave-2:/opt/hadoop

主伺服器上組態Hadoop

開啟主伺服器，並按照給定的命令進行組態。

# su hadoop 
$ cd /opt/hadoop/hadoop

組態主節點

$ vi etc/hadoop/masters
hadoop-master

組態從節點

$ vi etc/hadoop/slaves
hadoop-slave-1 
hadoop-slave-2

Hadoop主伺服器上格式名稱節點

# su hadoop 
$ cd /opt/hadoop/hadoop 
$ bin/hadoop namenode –format

11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG: host = hadoop-master/192.168.1.109 
STARTUP_MSG: args = [-format] 
STARTUP_MSG: version = 1.2.0 
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 
STARTUP_MSG: java = 1.7.0_71 ************************************************************/ 11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap editlog=/opt/hadoop/hadoop/dfs/name/current/edits
………………………………………………….
………………………………………………….
…………………………………………………. 11/10/14 10:58:08 INFO common.Storage: Storage directory /opt/hadoop/hadoop/dfs/name has been successfully formatted. 11/10/14 10:58:08 INFO namenode.NameNode: 
SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15 ************************************************************/

啟動Hadoop服務

下面的命令是啟動主Hadoop的所有Hadoop服務。

$ cd $HADOOP_HOME/sbin
$ start-all.sh

在Hadoop叢集的新增新DataNode

下面給出遵循增加新節點Hadoop叢集的步驟。

網路

新增新節點用一些適當的網路組態Hadoop叢集。假設下面的網路組態。

對於新的節點組態：

IP address : 192.168.1.103 
netmask : 255.255.255.0
hostname : slave3.in

新增使用者和SSH存取

新增使用者

在一個新的節點，使用以下命令新增“hadoopuser”使用者並設定密碼為“hadoop123”。

useradd hadoop
passwd hadoop

從主機連線到新的從屬機設定密碼。

在主機執行以下

mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh 
ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa 
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys
Copy the public key to new slave node in hadoop user $HOME directory
scp $HOME/.ssh/id_rsa.pub hadoop@192.168.1.103:/home/hadoop/

在從機以下執行

登入到Hadoop。如果不是則登入到 Hadoop 使用者。

su hadoop ssh -X hadoop@192.168.1.103

複製公鑰進入檔案的內容 "$HOME/.ssh/authorized_keys" 並通過執行以下命令改變為相同的許可權。

cd $HOME
mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh
cat id_rsa.pub >>$HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys

檢查SSH登入從主計算機。現在檢查是否可以ssh到新的節點，從主機登陸不需要密碼。

ssh hadoop@192.168.1.103 or hadoop@slave3

新節點的主機名設定

設定主機名的檔案 /etc/sysconfig/network

On new slave3 machine
NETWORKING=yes 
HOSTNAME=slave3.in

為了使更改生效，請重新啟動計算機或執行hostname命令，以新機與相應的主機名（重新啟動是一個不錯的選擇）。

在slave3節點機：

主機名 slave3. 在更新 /etc/ 叢集具有以下行的所有機器從機：

192.168.1.102 slave3.in slave3

現在嘗試 ping 計算機主機名來檢查它是否解析為IP。

在新的節點機：

ping master.in

啟動新節點的DataNode

啟動資料節點守護行程手動使用$HADOOP_HOME/bin/hadoop-daemon.sh指令碼。它會自動聯絡主（NameNode），並加入叢集。我們還應該將新節點新增到主伺服器在conf/從機檔案。基於指令碼的命令將識別新節點。

登入新節點

su hadoop or ssh -X hadoop@192.168.1.103

啟動HDFS新新增從節點，通過使用以下命令

./bin/hadoop-daemon.sh start datanode

檢查輸出一個新的節點上使用jps 命令。它看起來如下。

$ jps
7141 DataNode
10312 Jps

從Hadoop叢集中刪除DataNode

我們可以從正在執行一個叢集中刪除一個節點，在執行時，不會丟失任何資料。 HDFS提供了一個退役的功能，它可以確保刪除節點安全地執行。要使用它，按照下列步驟，如下所示：

第1步：登入到主機

登入主機使用者安裝了Hadoop。

$ su hadoop

第2步：修改叢集組態

排除檔案必須在啟動群集之前進行組態。新增一個名為鍵 dfs.hosts.exclude到$HADOOP_HOME/etc/hadoop/hdfs-site.xml檔案。與此鍵關聯的值提供了完整路徑的NameNode是本地檔案系統上的檔案，其中包含未允許連線到HDFS的機器列表。

例如，新增這些行到etc/hadoop/hdfs-site.xml檔案。

<property> 
   <name>dfs.hosts.exclude</name> 
   <value>/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt</value> 
   <description>DFS exclude</description> 
</property>

第3步：確定主機可淘汰

每台機器要停止使用應該使用每一行標識新增到在一個域名的檔案：hdfs_exclude.txt。這將阻止它們連線到NameNode。在“/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt”檔案的內容如下圖所示，如果想刪除DataNode2。

slave2.in

第4步：強制組態重灌

執行命令“$ HADOOP_HOME/ bin中/ Hadoop的dfsadmin-refreshNodes”不帶引號。

$ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes

這將迫使NameNode會重新讀取它的組態，其中包括最近更新的“排除”的檔案。它將停止使用該節點在一段時間，讓時間為每個節點的塊被複製到被安排要保持活躍的機器。

在slave2.in，檢查JPS命令的輸出。一段時間後會看到DataNode過程是自動關機。

第5步：關閉節點

停止使用處理結束之後，停止使用硬體可以安全地關閉，進行維修。執行報告命令dfsadmin檢查退役的狀態。以下命令將描述退役節點的狀態和所連線的節點叢集。

$ $HADOOP_HOME/bin/hadoop dfsadmin -report

第6步：編輯檔案再次排除

一旦機已經停止使用，他們可以從'不包括'檔案被刪除。執行“$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes”再次將讀取檔案排除放回NameNode;允許DataNodes重新加入群集，維護工作已經完成，或額外的容量，需要叢集中再次等後

特別注意：如果上述過程向TaskTracker處理節點上之後仍在執行，它需要關閉。一種方式是在上述步驟確實斷開的機器。主機將自動識別過程宣告為無效。沒有必要遵循相同的過程用於刪除TaskTracker，因為它相比於DataNode不是關鍵。DataNode包含要安全地刪除沒有任何資料丟失。

TaskTracker可以在任何時間點執行以下命令關機。

$ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker $HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker