Hadoop叢集安裝部署

1、伺服器主機名和IP設定（三臺）
2、修改每個主機的/etc/hosts檔案，新增IP和主機名的對應關係（三臺）
3、管理節點到從節點設定無密碼登入
4、設定jdk 1.8（三臺）
5、關閉防火牆（三臺）
6、關閉selinux（三臺）
vi /etc/selinux/config
SELINUX=enforcing SELINUX=disabled
重新啟動系統

安裝流程

1、上傳軟體包到管理節點，在管理節點解壓並設定
2、將修改完的解壓包，遠端拷貝到所有的從節點
3、啟動軟體

Hadoop安裝部署：

1、軟體包上傳並解壓
a)tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C …/servers/
2、第二步檢視hadoop支援的壓縮方式以及本地庫
a)./hadoop checknative

b)安裝openssl
yum -y install openssl-devel
./hadoop checknative

3、修改組態檔
a)core-site.xml
b)hdfs-site.xml
c)Hadoop-env.sh （不用改）
d)mapred-site.xml
i.cp mapred-site.xml.template mapred-site.xml
ii.修改
e)yarn-site.xml
f)slaves

4、建立資料夾
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

5、安裝包的分發
scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWDscp-rhadoop-2.6.0-cdh5.14.0/node03:$PWD

6、設定hadoop環境變數
vim /etc/profile.d/hadoop.sh
a)建立檔案/etc/profile.d/hadoop.sh 並編輯
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

7、啟動叢集
格式化叢集
在第一個節點執行 hadoop namenode -format

啟動
i.每個元件獨立啟動
1.啟動namenode node01節點 ./hadoop-daemon.sh start namenode
2.啟動namenode node01、02、03節點 ./hadoop-daemon.sh start datanode

3.啟動resourcemanager node01節點 ./yarn-daemon.sh start resourcemanager
4.啟動nodemanager node01、02、03節點 ./yarn-daemon.sh start nodemanager

ii.單獨啟動
1.單獨啟動HDFS : ./start-dfs.sh 關閉 ./stop-dfs.sh
2.單獨啟動Yarn : ./start-yarn.sh 關閉 ./stop-yarn.sh
iii.一鍵啟動所有
啟動： ./start-all.sh
關閉： ./stop-all.sh

8、瀏覽器檢視啟動頁面
http://主節點ip:50070

http://主節點ip:8088