巨量資料_02【巨量資料基礎知識】

2020-10-06 13:00:36

01 什麼是伺服器

伺服器: 也稱伺服器,是一種高效能運算機,提供計算服務的裝置。

伺服器的構成包括處理器、硬碟、記憶體、系統匯流排等,和通用的計算機架構類似。
由於伺服器需要提供高可靠的服務,所以在處理能力、穩定性、可靠性、安全性、可延伸性、可管理性等方面要求較高。

伺服器和電腦功能都是一樣的,也可以將伺服器稱之為電腦,只是伺服器對穩定性與安全性以及處理器資料能力有更高要求。比如我們隨時瀏覽一個網站,發現這個網站每天24小時都能存取,為什麼呢?原因在於網站伺服器不能關閉,要保證長時間穩定執行,並且要承受很多人同時訪。

02 伺服器型別

按應用層次劃分:入門級伺服器、工作組級伺服器、部門級伺服器和企業級伺服器四類。

按用途劃分:通用型伺服器、專用型伺服器兩類。

按機箱結構劃分: 塔式伺服器 刀片式伺服器 機架式伺服器(1U、 2U、 4U) 1U=1.75英寸=4.445釐米(cm) 機櫃式伺服器

03 儲存磁碟(硬碟)

硬碟有機械硬碟(HDD)、固態硬碟(SSD)和固態混合硬碟(SSHD)之分。

機械硬碟:機械硬碟即是傳統普通硬碟,主要由:碟片,磁頭,碟片轉軸及控制電機,磁頭控制器,資料轉換器,介面,快取等幾個部分組成。

固態硬碟(SSD): 固態硬碟是用固態電子儲存晶片陣列而製成的硬碟,採用快閃記憶體顆粒來儲存,SSD由控制單元和儲存單元(FLASH晶片、DRAM晶片)組成。固態硬碟在介面的規範和定義、功能及使用方法上與普通硬碟的完全相同,在產品外形和尺寸上也完全與普通硬碟一致。

混合硬碟:混合硬碟是一塊基於傳統機械硬碟誕生出來的新硬碟,除了機械硬碟必備的碟片、馬達、磁頭等等,還內建了NAND快閃記憶體顆粒,這顆顆粒將使用者經常存取的資料進行儲存,可以達到如SSD(就是固態硬碟)效果的讀取效能

機械硬碟與固態硬碟優缺點對比
1、防震抗摔性:機械硬碟都是磁碟型的,資料儲存在磁碟磁區裡。而固態硬碟是使用快閃記憶體顆粒(即記憶體)製作而成,所以SSD固態硬碟內部不存在任何機械部件,在發生碰撞和震盪時資料丟失的可能性降到最小。相較機械硬碟,固硬佔有絕對優勢。
2、資料儲存速度:從PConline評測室的評測資料來看,固態硬碟相對機械硬碟效能提升2倍多。 3、功耗:固態硬碟的功耗上也要低於機械硬碟。
4、重量:固態硬碟在重量方面更輕,與常規1.8英寸硬碟相比,重量輕20-30克。
5、價格:截至目前(2018/11/20),品牌的128Gb 固態硬碟為150元左右。而1Tb
的機械硬碟價格才280左右。固態硬碟比起機械硬碟價格較為昂貴,價效比較低。 6、使用壽命:機械硬碟壽命長,固態硬碟壽命短。

04 什麼是RAID

RAID ( Redundant Array of Independent Disks )即獨立磁碟冗餘陣列,通常簡稱為磁碟陣列。簡單地說,
RAID 是由多個獨立的高效能磁碟驅動器組成的磁碟子系統,從而提供比單個磁碟更高的儲存效能和資料冗餘的技術。RAID
是一類多磁碟管理技術,其向主機環境提供了成本適中、資料可靠性高的高效能儲存。

RAID特點

(1) 大容量   它擴大了磁碟的容量,由多個磁碟組成的 RAID 系統具有海量的儲存空間。 現在單個磁碟的容量就可以到10TB 以上,這樣 RAID 的儲存容量就可以達到 PB 級。

(2) 高效能    RAID 的高效能受益於資料條帶化技術。單個磁碟的I/O 效能受到介面、頻寬等計算機技術的限制,效能往往很有限,容易成為系統效能的瓶頸。通過資料條帶化, RAID 將資料 I/O分散到各個成員磁碟上,從而獲得比單個磁碟成倍增長的聚合 I/O 效能。

(3) 可靠性   可用性和可靠性是 RAID 的另一個重要特徵。理論上由多個磁碟組成的 RAID 系統在可靠性方面應該比單個磁碟要差。這裡有個隱含假定:單個磁碟故障將導致整個 RAID不可用。 RAID 採用映象和資料校驗等資料冗餘技術,打破了這個假定。
映象是最為原始的冗餘技術,把某組磁碟驅動器上的資料完全複製到另一組磁碟驅動器上,保證總有資料副本可用。

(4) 可管理性   RAID 是一種虛擬化技術,它對多個物理磁碟驅動器虛擬成一個大容量的邏輯驅動器。對於外部主機系統來說, RAID是一個單一的、快速可靠的大容量磁碟驅動器。這樣,使用者就可以在這個虛擬驅動器上來組織和儲存應用系統資料。 從使用者應用角度看,可使儲存系統簡單易用,管理也很便利。

RAID種類

RAID種類 RAID(0-7)、RAID00、RAID10、RAID01、RAID100、RAID30、RAID50、RAID60、
常用的RAID 等級有 RAID0 、 RAID1 、 RAID10 、 RAID01 和 RAID5 。

RAID0
RAID0 是一種簡單的、無資料校驗的資料條帶化技術。實際上不是一種真正的 RAID ,因為它並不提供任何形式的冗餘策略。RAID0 將所在磁碟條帶化後組成大容量的儲存空間,將資料分散儲存在所有磁碟中,以獨立存取方式實現多塊磁碟的並讀存取。由於可以並行執行 I/O 操作,匯流排頻寬得到充分利用。再加上不需要進行資料校驗,RAID0 的效能在所有 RAID 等級中是最高的。

RAID0具有低成本、高讀寫效能、 100% 的高儲存空間利用率等優點,但是它不提供資料冗餘保護,一旦資料損壞,將無法恢復。 因此, RAID0一般適用於對效能要求嚴格但對資料安全性和可靠性不高的應用,如視訊、音訊儲存、臨時資料快取空間等。

RAID1   
RAID1 稱為映象,它將資料完全一致地分別寫到工作磁碟和映象 磁碟,它的磁碟空間利用率為 50% 。 RAID1 在資料寫入時,響應時間會有所影響,但是讀資料的時候沒有影響。 RAID1 提供了最佳的資料保護,一旦工作磁碟發生故障,系統自動從映象磁碟讀取資料,不會影響使用者工作。
RAID1 與 RAID0 剛好相反,是為了增強資料安全性使兩塊 磁碟資料呈現完全映象,從而達到安全性好、技術簡單、管理方便。 RAID1擁有完全容錯的能力,但實現成本高。 RAID1 應用於對順序讀寫效能要求高以及對資料保護極為重視的應用,如對郵件系統的資料保護。

RAID5   
RAID5是有資料校驗的資料條帶化技術,資料分佈在陣列中的所有磁碟上,使用校驗盤技術,按照塊的方式來組織資料,校驗資料分佈在陣列中的所有磁碟上。
應該是目前最常見的 RAID 等級,對於資料和校驗資料,它的寫操作可以同時發生在完全不同的磁碟上。RAID5 還具備很好的擴充套件性。當陣列磁碟 數量增加時,並行操作量的能力也隨之增長。
RAID5 兼顧儲存效能、資料安全和儲存成本等各方面因素,它可以理解為 RAID0 和 RAID1
的折中方案,是目前綜合效能最佳的資料保護解決方案。 RAID5
基本上可以滿足大部分的儲存應用需求,資料中心大多采用它作為應用資料的保護方案。

05 什麼是叢集

叢集是一組相互獨立的、通過高速計算機網路互聯的計算機,它們構成了一個組,並以單一系統的模式加以管理。一個客戶與叢集相互作用時,叢集像是一個獨立的伺服器。

計算機叢集簡稱叢集是一種計算機系統,
它通過一組鬆散整合的計算機軟體/硬體連線起來高度緊密地共同作業完成計算工作。在某種意義上,他們可以被看作是一臺計算機。叢集系統中的單個計算機通常稱為節點,通常通過區域網連線,但也有其它的可能連線方式。叢集計算機通常用來改進單個計算機的計算速度和/或可靠性。一般情況下叢集計算機比單個計算機,比如工作站或超級計算機效能價格比要高得多。

06 什麼是計算機網路

計算機網路是指將地理位置不同的具有獨立功能的多臺計算機及其外部裝置,通過通訊線路連線起來,在網路作業系統,網路管理軟體及網路通訊協定的管理和協調下,實現資源共用和資訊傳遞的計算機系統。

07 什麼是交換機?

交換機(Switch)意為「開關」是一種用於電(光)訊號轉發的網路裝置。它可以為接入交換機的任意兩個網路節點提供獨享的電訊號通路。最常見的交換機是乙太網交換機。其他常見的還有電話語音交換機、光纖交換機等。

08 什麼是區域網

區域網是指在某一區域內由多臺計算機互聯成的計算機組。一般是方圓幾千米以內。區域網可以實現檔案管理、應用軟體共用、印表機共用、工作組內的日程安排、電子郵件和傳真通訊服務等功能。區域網是封閉型的,可以由辦公室內的兩臺計算機組成,也可以由一個公司內的上千臺計算機組成。

09 什麼是網路拓撲

網路拓撲(Network
Topology)結構是指用傳輸媒介互連各種裝置的物理佈局。指構成網路的成員間特定的物理的即真實的、或者邏輯的即虛擬的排列方式

10 乙太網路

優點缺點
是當前區域網的實時標準,設定方便,隨插即用,軟體支援豐富。價格便宜,隨處可得。無論是延遲還是吞吐量都不如一些專用網路。
用途
是構建區域網最方便的方式。現在被廣泛用於雲端計算中的大規模資料處理叢集中。常見的頻寬,1Gbps以及10Gbps。

11 InfiniBand網路

優點: 延遲極低(不到400納秒)、很高吞吐量(高達40Gbps)。 結構先進(Offloading Engine,Zero Copy)。

缺點: 價格較貴、軟體支援較少。 影響較低,與傳統乙太網路不相容。

用途: 多用於高效能運算領域。 常見的頻寬,10Gbps,20Gbps以及40Gbps。

12 IDC資料中心

網際網路資料中心(Internet Data
Center)簡稱IDC,就是電信部門利用已有的網際網路通訊線路、頻寬資源,建立標準化的電信專業級機房環境,為企業、政府提供伺服器託管、租用以及相關增值等方面的全方位服務。