Hadoop搭建完全分散式叢集

最近公司事情不是很多,趁此機會,學習一下巨量資料的內容,正好公司之後也要使用巨量資料方面的技術進行資料分析,所以提前學習一下,也好做個準備.以防忘記,寫下部落格來記錄一下學習過程.

搭建準備

首先我們需要建三臺新的虛擬機器器：

使用VMware搭建新建一臺虛擬機器器,我這裡使用的是centos系統.(說起這個,比較吐血,我最開始一直是使用的Ubuntu,然後再學習es,rocketmq…之類的時候,去網上找的教學全是centos的,每次折騰虛擬機器器都要耗費不少時間,很是蛋疼.決定學習hadoop之後,畢竟是一個新的領域,所以準備重新開始,所以改用centos.結果,現在網上找點教學,全變成Ubuntu了,心累,感覺受到了針對,朋友)；
將虛擬機器器設定一下靜態ip(必須的啊,不然鬼找得到你主機在哪)；

// 修改靜態ip(每個機器的網路卡檔名稱不一樣,)
vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改如下:

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="a7239cff-3e26-4d23-bab6-176ba0b88895"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.50.103"
GATEWAY="192.168.50.1"
NETMASK="255.255.255.0"
DNS1="8.8.8.8"

主要是修改幾個 BOOTPROTO改為static,ONBOOT改為yes ,IPADDR,GATEWAY,NETMASK,DNS1(可選)
三臺機器都要改,並且修改的ip要在同一網段內. 在這裡插入圖片描述

修改一下主機名,方便區分和聯合；

//hostnamectl 永久主機名    是對/etc/hostname檔案的內容進行修改
hostnamectl hadoop103
//或者 vim /etc/hostname 性質是一樣的

修改完後可以再次使用hostnamectl檢視一下是否修改成功.
5. 然後還要修改一下主機(),要把其他機器的主機名和ip對映關聯起來?；

vim /etc/hosts

增加幾行

192.168.50.101 hadoop101
192.168.50.102 hadoop102
192.168.50.103 hadoop103
192.168.50.104 hadoop104
192.168.50.105 hadoop105

這個呢,根據我的理解,應該算是給同網段下的ip和主機名進行一個對映,這樣就可以通過主機名對ip所在主機進行存取了吧?有大佬看到可以幫忙指點一下嗎.

其他虛擬機器器也做相同設定.這邊想偷個懶的話就先設定一臺機器,然後用VMware克隆n臺出來.這樣可以減少一點工作量.

設定ssh和編寫一個分發shell指令碼

1. 編寫一個shell指令碼用於分發檔案
這個是因為我們要搭建叢集,所以對於hadoop的設定需要每臺機器都做相同設定,目前我們只做三臺機器的設定,還可以做到手動分發,但是實際使用時,不一定是三臺,如果有100臺機器叢集,手動分發肯定是不現實的.所以接下來就編寫一個shell指令碼,用於檔案分發.
遠端分發,linux中有兩個命令,rsync和scp.都可以做到遠端複製.那麼兩者的區別是什麼呢.
1. scp的效率比rsync的效率會高.因為scp非常不佔用資源,rsync比scp快一點,但是如果小檔案眾多的話,佔用I/O非常多,影響系統使用.
2. rsync會對比檔案差異,只傳輸差異部分,適合做增量或全量備份,而scp只能做全量備份
3. rsync是非加密傳輸,scp是加密傳輸.
4. rsync複製可以附帶軟/硬連結.
在這裡插入圖片描述
我們這裡選擇使用rsync來進行分發,下來來編寫一個xsync.sh

 vim xsync.sh

內容如下:

#!/bin/bash
#1 獲取輸入引數個數，如果沒有引數，直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi

#2 獲取檔名稱
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 獲取上級目錄到絕對路徑
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 獲取當前使用者名稱稱
user=`whoami`

#5 迴圈
for((host=103; host<106; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -av $pdir/$fname $user@hadoop$host:$pdir
done

為了方便使用,我們把指令碼放到 /bin, 這樣就可以在任意目錄呼叫此指令碼了.

    chmod +x xsync    
    sudo cp xsync /bin    
    sudo xsync /bin/xsync

2. 設定ssh無密登入

一般虛擬機器器會自帶ssh,如果沒有的話,就用apt-get install .呸  用 yum 安裝一下.
進入.ssh    cd ~/.ssh/
使用

    ssh-keygen -t rsa

生成金鑰對.
然後使用我們的分發指令碼,將整個.ssh傳送到各臺機器上.

xsync ~/atguigu/.ssh

試一下設定是否成功,
ssh hadoop104 //第一次需要輸入密碼. exit退出登入,再重新登入一次.不需要密碼則成功設定了ssh無密登入
至此,虛擬機器器的準備算是弄好了.

java和hadoop

1. 安裝java和hadoop以及環境變數設定
將準備好的java的tar包和hadoop的tar包copy到一臺主機上. 並且解壓. tar -zxvf
然後設定環境變數

sudo vim /etc/profile

在該檔案末尾追加幾行

#JAVA_HOME
#java解壓後的tar包位置
export JAVA_HOME=/opt/module/jdk1.8.0_231 
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
#hadoop解壓後的tar包位置
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然後執行命令使環境變數立即生效

source /etc/profile

然後使用 java -version, hadoop version 檢視是否設定成功

2. 設定hadoop執行的xx-env.sh
先設定幾個env,進入解壓後的hadoop資料夾下.然後

//這裡是進入hadoop資料夾下的etc,而不是linux的.之前碰到這個問題,
//怎麼也找不到檔案.
cd etc/hadoop/

使用vim命令將 hadoop-env.sh,yarn-env.sh,mapred-env.sh這幾個檔案,進行追加一下依賴jdk環境.
export JAVA_HOME=/opt/module/jdk1.8.0_231

3. 設定core-site.xml
將下面這段xml設定直接複製到hadoop-2.7.2/etc/hadoop/core-site.xml的

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop103:9000</value>
        </property>

        <!-- 指定Hadoop執行時產生檔案的儲存目錄 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/module/hadoop-2.7.2/data/tmp</value>
        </property>
</configuration>

4. 設定hdfs-site.xml

<configuration>
<!-- 指定HDFS副本的數量 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
         <name>
	 dfs.namenode.secondary.http-address	
	 </name>
         <value>hadoop103:50090 </value>
    </property>
</configuration>

5. 設定yarn-site.xml

<configuration>
<!-- 指定HDFS副本的數量 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
         <name>
	 dfs.namenode.secondary.http-address	
	 </name>
         <value>hadoop103:50090 </value>
    </property>
</configuration>

6. 設定mapred-site.xml

<configuration>
<!--指定MR執行的地方 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>	
	</property>
<!-- 歷史伺服器端地址 -->
        <property>
                <name>mapreduce.jobhistory.address</name>
		<value>hadoop105:10020</value>
        </property>
        <!-- 歷史伺服器web端地址 -->
        <property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop105:19888</value>
	</property>
</configuration>

7. 設定slaves

vim etc/hadoop/slaves

追加以下內容

hadoop103
hadoop104
hadoop105

儲存退出.
8. 分發設定
使用之前編寫的分發指令碼 xsync 將設定分發到其他幾臺虛擬機器器上.

xsync /opt/module/hadoop-2.7.2/etc

然後格式化namenode,在hadoop103上進行格式化

hdfs namenode -format

至此,hadoop完全分散式叢集搭建完畢.

執行測試

在hadoop103上執行

hadoop-daemon.sh start namenode/datanode/secondarynamenode

在hadoop104上執行

yarn-daemon.sh start resourcemanager/nodemanager

然後使用jps命令檢視程序是否啟動.
如果未啟動,在使用指令碼啟動時,會產生一個路徑進行紀錄檔輸出, 檢視啟動紀錄檔 log.
至此 hadoop完全分散式叢集搭建成功!並且順利執行.