Hadoop學習(一) 搭建偽分散式叢集

2023-11-17 18:00:19

文章結構

1.準備工作

  1.1 設定IP

  1.2 關閉防火牆

  1.3 修改主機名並與IP繫結

  1.4 建立新使用者

  1.5 設定免密匙 

2.安裝並設定Hadoop偽分散式叢集  

  2.1 安裝Java

  2.2 安裝設定Hadoop偽分散式叢集

 

1.準備工作

  1.1 設定IP

    首先進入該路徑下 cd /etc/sysconfig/network-scripts,找到 ifcfg-eth0 這個檔案

            

      編輯  ifcfg-eth0  ,設定IP地址,跟自己主機地址相對應 

           

    關閉虛擬機器器,將網路介面卡改為橋接模式

 

          

  1.2 關閉防火牆

     

  

  1.3 修改主機名並於IP繫結

 

  1.4 建立新使用者

   1.5 設定免密匙

  首先執行 ssh-keygen -t rsa 然後一直回車

 

 

 然後進入生成的檔案下 cp id_rsa.pub authorized_keys

驗證一下 ssh hadooptest

 

 

2.安裝並設定Hadoop偽分散式叢集

  首先建立一個目錄 software 用於存放我們上傳的檔案

     

  然後使用遠端工具將我們需要的安裝包上傳到該目錄下

 

  2.1 安裝Java

  將壓縮包解壓 tar -zxvf jdk

   設定環境變數  vim ~/.bash_profile

   使環境變數生效  source ~/.bash_profile

  驗證  java -version

 

  2.2 安裝設定Hadoop偽分散式叢集

  將 Hadoop 壓縮包解壓 tar -zxvf hadoop

  

     設定核心檔案  hadoop-env.sh  core-site.xml  hdfs-site.xml  mapred-site.xml  yarn-site.xml  workers

 

  hadoop-env.sh 檔案內容

   core-site.xml 檔案內容

  首先在安裝目錄下建立一個新目錄 hadooptmp 

   檔案內容

   hdfs-site.xml檔案內容

  mapred-site.xml 檔案內容

  yarn-sie.xml 檔案內容

  workers 檔案內容 

   

  設定環境變數  vim ~/.bash_profile

 

  格式化Hadoop  hadoop namenode -format

  啟動Hadoop     start-all.sh