前提環境:
你得先在 Windows 上安裝好 VMware
沒有點此下載
連結:https://pan.baidu.com/s/1H2SAP1On7AvK-c3bCZ3BwA
提取碼:whj6
提示:
1、我安裝的虛擬機器器是 CentOS 6.5
點此下載
https://pan.baidu.com/s/1jilrYa6nM10Yt9PEkTtHxA
提取碼:whj6
2、我這篇部落格是講 Hadoop 完全分散式安裝、連網及搭建一步到位,如果你想單機就可以也可以,後面步驟中省略一些內容,最後就是單機的啦!
正式操作:
1、把剛剛從我百度網路硬碟下載的檔案放在你剩餘空間大的磁碟內,雖然我的檔案只有六個多G,但後期各種操作可能需要60個G,所以你最把它放在大磁碟內。
2、開啟之前安裝好的 VMware (怎麼安裝這裡不做講解,參考其他博主即可)
3、匯入虛擬機器器( 約需5到10分鐘 )
如果報錯,繼續即可,不用理他
4、虛擬機器器名稱和存放地址
我這裡以 slave3 為例,你新匯入的話應該是 master ,名字其實隨便都可以,一般英文就好,如果你是設定叢集的話還是master,以免後面不必要的煩惱 (可以提前建立好相應的資料夾)
5、點選左上角的 slave3 (你的master)
再點旁邊的開啟此虛擬機器器
進去後選著登入視窗的其他 ( 不要登入 whj )
選擇其他後輸入 root (以超級管理員的身份登入)
密碼是:653335
whj 使用者也是這個密碼,等後面操作搞完你可以刪除這個使用者新建一個或者改個密碼(不急哦,這篇文章內容弄完再回來搞)
這個參考我的另一篇部落格
點選這裡參考
https://blog.csdn.net/whjhut/article/details/109193887
6、修改檔案 1 (共有四個檔案需要修改)
1、輸入命令
vim /etc/sysconfig/network-scripts/ifcfg-eth0
在這個終端旁邊再開一個,用於查詢相關東西
(我管這個旁邊的終端叫右邊,前面那個終端我叫左邊)
右邊終端輸入命令
ifconfig
左邊終端進入後輸入字母 i(編輯命令)
1、改 HWADDR
2、把 UUID 那一行前面加個 # 號 (註釋功能)
(master不用,其他從節點要)
3、修改 IP , IP 在右邊那個終端框框下面的第一行的第一個 IP ,192.168.43.130(這是我的),你用你的,左邊的那些 43 改成你對應數位
改完按 Esc 再按 Shift+: 在輸入 wq!
這個是 寫入儲存強制退出 的操作
後面的檔案編輯也是通過這個方式退出編輯的
2、修改檔案 2
輸入命令
vim /etc/sysconfig/network
1、進去之後把 43 改成你的
2、master 就不用改了,後面如果還要增加就修改為相應的主機名,如 slave1
3、修改檔案 3
輸入命令(如果不能直接進入看提示進入編輯即可)
vim /etc/hosts
如果你是搞叢集分佈,可以不刪後兩行,增加幾個從節點,master後就有幾行
4、修改檔案 4 (master在這裡不用此步驟,加從節點就要了,單機設定也是不用的)
進入相關目錄
cd /usr/local/hadoop-2.6.4/etc/hadoop/
再輸入命令
vim slaves
刪除localhost,新增: slave1 slave2 slave3 (相應從節點的名字,有幾個加幾個,沒有就別加上去了,在這裡)
7、刪除檔案
輸入命令
rm -rf /etc/udev/rules.d/70-persistent-net.rules
這步應該是不用的,我這裡已經刪過了,不過為了別出么蛾子,還是刪了吧
8、重新啟動網路
輸入命令
service network restart
測試網路是否可以,輸入命令
ping www.baidu.com
發現 ping 不了
輸入命令重新啟動虛擬機器器
reboot
當你再次進入就可以 ping 成功啦
單機設定到此結束,下面接著講完全分散式叢集的搭建
這裡繼續重複正式操作的 3 到 8 步
記住,每個主機名和 IP 地址是不一樣的
比如我的
192.168.43.130
到了這一步192.168.43都不用變,變的是最後一個
我的 master 是 130
我的 slave1 是 131
我的 slave2 是 132
增加相應的行,不是修改之前的,之前的不變哦
最後你全部弄完了,可以嘗試互相 ping
如在 主節點 master 上輸入命令
ping slave1
也可以進行 ssh 連線
輸入命令
ssh slave1
ssh連線之後輸入命令退出
exit
啟動叢集
進入目錄
cd /usr/local/hadoop-2.6.4/sbin
啟動命令
./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver
使用 jps 命令,檢視程序
jps
在Windows 下
C:\Windows\System32\drivers\etc\hosts
新增IP 對映
你有幾個加幾個,增加在那個檔案後面就可以了
(你的 IP 地址 主機名)
192.168.43.130 master master.centos.com
192.168.43.131 slave1 slave1.centos.com
192.168.43.132 slave2 slave2.centos.com
192.168.43.133 slave3 slave3.centos.com
瀏覽器檢視叢集相應資訊
(虛擬機器器開機了才可以看得到)
http://master:50070
如果哪一步有問題,就看看前一步是不是有問題
如果對你有幫助,麻煩大佬給我點個贊鴨,謝謝!