Hadoop環境安裝設定

Hadoop由GNU/Linux平台支援(建議)。因此，需要安裝一個Linux作業系統並設定Hadoop環境。如果有Linux作業系統等，可以把它安裝在VirtualBox(要具備在 VirtualBox內安裝Linux經驗，沒有裝過也可以學習試著來)。

安裝前設定

在安裝Hadoop之前，需要進入Linux環境下，連線Linux使用SSH(安全Shell)。按照下面提供的步驟設立Linux環境。

建立一個用

在開始時，建議建立一個單獨的使用者Hadoop以從Unix檔案系統隔離Hadoop檔案系統。按照下面給出的步驟來建立使用者：

• 使用 “su” 命令開啟root .
• 建立使用者從root帳戶使用命令 “useradd username”.
• 現在，可以使用命令開啟一個現有的使用者帳戶“su username”.

開啟Linux終端，輸入以下命令來建立一個使用者。

$ su 
   password: 
# useradd hadoop 
# passwd hadoop 
   New passwd: 
   Retype new passwd 

SSH設定和金鑰生成

SSH設定需要在叢集上做不同的操作，如啟動，停止，分散式守護shell操作。認證不同的Hadoop使用者，需要一種用於Hadoop使用者提供的公鑰/私鑰對，並用不同的使用者共用。

下面的命令用於生成使用SSH鍵值對。複製公鑰形成 id_rsa.pub 到authorized_keys 檔案中，並提供擁有者具有authorized_keys檔案的讀寫許可權。

$ ssh-keygen -t rsa 
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
$ chmod 0600 ~/.ssh/authorized_keys 

安裝Java

Java是Hadoop的主要先決條件。首先，應該使用命令“java-version”驗證 java 存在在系統中。 Java version 命令的語法如下。

$ java -version 

如果一切順利，它會給下面的輸出。

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)  

如果Java還未安裝在系統中，那麼按照下面的給出的步驟來安裝Java。

第1步

下載Java(JDK<最新版> - X64.tar.gz)通過存取以下連結 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads1880260.html.

然後JDK-7u71-linux-x64.tar.gz將被下載到系統。

第2步

一般來說，在下載檔案夾中的Java檔案。使用下面的命令提取 jdk-7u71-linux-x64.gz檔案。

$ cd Downloads/ 
$ ls 
jdk-7u71-linux-x64.gz 
$ tar zxf jdk-7u71-linux-x64.gz 
$ ls 
jdk1.7.0_71   jdk-7u71-linux-x64.gz 

第3步

為了使Java提供給所有使用者，將它移動到目錄 “/usr/local/”。開啟根目錄，鍵入以下命令。

$ su 
password: 
# mv jdk1.7.0_71 /usr/local/ 
# exit 

第4步

用於設定PATH和JAVA_HOME變數，新增以下命令到~/.bashrc檔案。

export JAVA_HOME=/usr/local/jdk1.7.0_71 
export PATH=PATH:$JAVA_HOME/bin 

現在從終端驗證 java -version 命令如上述說明。

下載Hadoop

下載來自Apache基金會軟體，使用下面的命令提取 Hadoop2.4.1。

$ su 
password: 
# cd /usr/local 
# wget http://apache.claz.org/hadoop/common/hadoop-2.4.1/ 
hadoop-2.4.1.tar.gz 
# tar xzf hadoop-2.4.1.tar.gz 
# mv hadoop-2.4.1/* to hadoop/ 
# exit 

Hadoop操作模式

下載 Hadoop 以後，可以操作Hadoop叢集以以下三個支援模式之一：

• 本地/獨立模式：下載Hadoop在系統中，預設情況下之後，它會被組態在一個獨立的模式，用於執行Java程式。

• 模擬分散式模式：這是在單台機器的分散式模擬。Hadoop守護每個進程，如 hdfs, yarn, MapReduce 等，都將作為一個獨立的java程式執行。這種模式對開發非常有用。

• 完全分散式模式：這種模式是完全分散式的最小兩台或多台計算機的叢集。我們使用這種模式在未來的章節中。

在單機模式下安裝Hadoop

在這裡，將討論 Hadoop2.4.1在獨立模式下安裝。

有單個JVM執行任何守護行程一切都執行。獨立模式適合於開發期間執行MapReduce程式，因為它很容易進行測試和偵錯。

設定Hadoop

可以通過附加下面的命令到 ~/.bashrc 檔案中設定 Hadoop 環境變數。

export HADOOP_HOME=/usr/local/hadoop 

在進一步討論之前，需要確保Hadoop工作正常。發出以下命令：

$ hadoop version 

如果設定的一切正常，那麼應該看到以下結果：

Hadoop 2.4.1 
Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768 
Compiled by hortonmu on 2013-10-07T06:28Z 
Compiled with protoc 2.5.0
From source with checksum 79e53ce7994d1628b240f09af91e1af4 

這意味著Hadoop在獨立模式下工作正常。預設情況下，Hadoop被組態為在非分散式模式的單個機器上執行。

範例

讓我們來看看Hadoop的一個簡單例子。 Hadoop安裝提供了下列範例 MapReduce jar 檔案，它提供了MapReduce的基本功能，並且可以用於計算，像PI值，字計數在檔案等等

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar 

有一個輸入目錄將推播幾個檔案，要求計算那些檔案的單詞總數。要計算單詞總數，並不需要寫MapReduce，提供的.jar檔案包含了實現字數。可以嘗試其他的例子使用相同的.jar檔案; 發出以下命令通過Hadoop hadoop-mapreduce-examples-2.2.0.jar 檔案檢查支援MapReduce功能的程式。

$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduceexamples-2.2.0.jar 

第1步

建立輸入臨時目錄的內容檔案。可以在任何地方建立此輸入目錄用來工作。

$ mkdir input 
$ cp $HADOOP_HOME/*.txt input 
$ ls -l input 

它會在輸入目錄中的給出以下檔案：

total 24 
-rw-r--r-- 1 root root 15164 Feb 21 10:14 LICENSE.txt 
-rw-r--r-- 1 root root   101 Feb 21 10:14 NOTICE.txt
-rw-r--r-- 1 root root  1366 Feb 21 10:14 README.txt 

這些檔案已從Hadoop安裝主目錄被複製。為了實驗，可以有不同大型的檔案集。

第1步

讓我們啟動Hadoop進程計數在所有在輸入目錄中可用的檔案的單詞總數，具體如下：

$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduceexamples-2.2.0.jar  wordcount input ouput 

第3步

步驟2 將做必要的處理並儲存輸出在output/part-r00000檔案中，可以通過查詢使用：

$cat output/* 

它會列出了所有的單詞以及它們在所有輸入目錄中的檔案提供總計數。

"AS      4 
"Contribution" 1 
"Contributor" 1 
"Derivative 1
"Legal 1
"License"      1
"License");     1 
"Licensor"      1
"NOTICE”        1 
"Not      1 
"Object"        1 
"Source”        1 
"Work”    1 
"You"     1 
"Your")   1 
"[]"      1 
"control"       1 
"printed        1 
"submitted"     1 
(50%)     1 
(BIS),    1 
(C)       1 
(Don't)   1 
(ECCN)    1 
(INCLUDING      2 
(INCLUDING,     2 
.............

模擬分散式模式安裝Hadoop

按照下面給出的在偽分散式模式下安裝Hadoop2.4.1的步驟。

第1步：設定Hadoop

可以通過附加下面的命令到~/.bashrc檔案中設定Hadoop環境變數。

export HADOOP_HOME=/usr/local/hadoop 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 
export HADOOP_INSTALL=$HADOOP_HOME 

現在，提交所有更改到當前正在執行的系統。

$ source ~/.bashrc 

第2步：Hadoop組態

可以找到位置“$HADOOP_HOME/etc/hadoop”下找到所有Hadoop組態檔案。這是需要根據Hadoop基礎架構進行更改這些組態檔案。

$ cd $HADOOP_HOME/etc/hadoop

為了使用Java開發Hadoop程式，必須用java在系統中的位置替換JAVA_HOME值並重新設定hadoop-env.sh檔案的java環境變數。

export JAVA_HOME=/usr/local/jdk1.7.0_71

以下是必須編輯組態Hadoop的檔案列表。

core-site.xml

core-site.xml檔案中包含如讀/寫緩衝器用於Hadoop的範例的埠號的資訊，分配給檔案系統儲存，用於儲存所述資料儲存器的限制和大小。

開啟core-site.xml 並在<configuration>，</configuration>標記之間新增以下屬性。

<configuration>

   <property>
      <name>fs.default.name </name>
      <value> hdfs://localhost:9000 </value> 
   </property>
 
</configuration>

hdfs-site.xml

hdfs-site.xml 檔案中包含如複製資料的值，NameNode路徑的資訊，，本地檔案系統的資料節點的路徑。這意味著是儲存Hadoop基礎工具的地方。

讓我們假設以下資料。

dfs.replication (data replication value) = 1 
(In the below given path /hadoop/ is the user name. 
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.) 
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode 
(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.) 
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode 

開啟這個檔案，並在這個檔案中的<configuration></configuration>標籤之間新增以下屬性。

<configuration>

   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
    
   <property>
      <name>dfs.name.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode </value>
   </property>
    
   <property>
      <name>dfs.data.dir</name> 
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode </value> 
   </property>
       
</configuration>

註：在上面的檔案，所有的屬性值是使用者定義的，可以根據自己的Hadoop基礎架構進行更改。

yarn-site.xml

此檔案用於組態成yarn在Hadoop中。開啟 yarn-site.xml檔案，並在檔案中的<configuration></configuration>標籤之間新增以下屬性。

<configuration>
 
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value> 
   </property>
  
</configuration>

mapred-site.xml

此檔案用於指定正在使用MapReduce框架。預設情況下，包含Hadoop的模板yarn-site.xml。首先，它需要從mapred-site.xml複製。獲得mapred-site.xml模板檔案使用以下命令。

$ cp mapred-site.xml.template mapred-site.xml 

開啟mapred-site.xml檔案，並在此檔案中的<configuration></configuration>標籤之間新增以下屬性。

<configuration>
 
   <property> 
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
   
</configuration>

驗證Hadoop安裝

下面的步驟用來驗證Hadoop安裝。

第1步：名稱節點設定

使用命令“hdfs namenode -format”如下設定名稱節點。

$ cd ~ 
$ hdfs namenode -format 

預期的結果如下

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG:   host = localhost/192.168.1.11 
STARTUP_MSG:   args = [-format] 
STARTUP_MSG:   version = 2.4.1 
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory 
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted. 
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to 
retain 1 images with txid >= 0 
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0 
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************ 
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11 
************************************************************/

第2步：驗證Hadoop的DFS

下面的命令用來啟動DFS。執行這個命令將啟動Hadoop檔案系統。

$ start-dfs.sh 

期望的輸出如下所示：

10/24/14 21:37:56 
Starting namenodes on [localhost] 
localhost: starting namenode, logging to /home/hadoop/hadoop
2.4.1/logs/hadoop-hadoop-namenode-localhost.out 
localhost: starting datanode, logging to /home/hadoop/hadoop
2.4.1/logs/hadoop-hadoop-datanode-localhost.out 
Starting secondary namenodes [0.0.0.0]

第3步：驗證Yarn 指令碼

下面的命令用來啟動yarn指令碼。執行此命令將啟動yarn守護行程。

$ start-yarn.sh 

預期輸出如下：

starting yarn daemons 
starting resourcemanager, logging to /home/hadoop/hadoop
2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out 
localhost: starting nodemanager, logging to /home/hadoop/hadoop
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out 

第4步：在瀏覽器存取Hadoop

存取Hadoop預設埠號為50070，使用以下網址獲得瀏覽器Hadoop的服務。

http://localhost:50070/

第5步：驗證所有應用程式的叢集

存取叢集中的所有應用程式的預設埠號為8088。使用以下URL存取該服務。

http://localhost:8088/