安裝前提:
平臺:Windows10電腦,預先下載好的Ubuntu子系統,不會下載的見教學:
Windows10使用Linux子系統
這裡我使用的是Ubuntu18.04.2
我們要開始學習巨量資料的相關內容,老師要求我們自行安裝好Linux系統下的Scala軟體並且設定好它所需要的JDK 環境和Hadoop環境。這裡我主要參考了林子雨老師的安裝教學,不得不說,林老師的安裝教學太太太太太讚了!感謝林老師!
附上林子雨老師的安裝連結:spark2.1.0入門:spark的安裝與使用
Hadoop安裝教學
注:連結的安裝教學中老師已經給出他提供的百度網路硬碟資源,包含這次教學所需要的全部安裝檔案,大家不必費心去找,再次感謝林子雨老師(太感動了)!
選擇Windows下Linux子系統的優點:沒有虛擬機器器+Ubuntu映象檔案設定那麼繁瑣,就Scala的學習還是夠用的;
但是據我下載了VirtualBox並且安裝完Ubuntu系統的室友說,按照林子雨老師的教學安裝這兩者也沒出現多大問題,想要安裝VirtualBox的同學也可一試。
教學中的步驟已經很完備,下面我主要說說我在安裝過程中出現的問題:
su -l hadoop
sudo apt-get install openssh-server
命令之後,它會出現一段描述,大致意思就是你已經安裝過了;接著你輸入ssh localhost
,發現出現了下面這個問題:sudo service ssh start
開啟ssh服務,順利的話,可能會出現以下提示:ssh localhost
命令,將出現下面介面:在這裡小編出現了一個疑問:我安裝的時候並沒有出現ssh首次登陸提示,但我以前從沒有登陸過ssh。並且我用hadoop使用者第一次登陸的時候也沒有出現要輸入密碼的情況,有點奇奇怪怪……
cd /mnt
(cd與/mnt中間有空格)就可以進入Windows下的目錄,然後參考老師給出的命令,即可將jdk解壓到Ubuntu的/usr/lib目錄中sudo tar -zxf 要解壓的檔案的名字 -C 解壓後放入的目錄路徑
接下來按照教學,我的spark安裝沒有出現什麼問題,附上spark安裝成功之後的執行截圖
室友說,這個spark的LOGO看起來好酷好高階啊!
嘿嘿嘿,我也這麼覺得。
花了不少時間的這個環境安裝終於安裝好啦,開心!Windows下的Ubuntu在我現在這個階段還是實用的(要是不實用我也感覺不出來)。
有問題請在評論中提出,說不定我們還可以一起討論一下。
最後首尾呼應一下,再次感謝林子雨老師!我們愛您!