巨量資料介紹

2020-10-07 16:02:55

巨量資料【介紹】

1)巨量資料是什麼
2)巨量資料特點
3)巨量資料能做什麼(海量資料背景下)
4)巨量資料專案流程

1)巨量資料是什麼

指資料集的大小超過了現有典型資料庫軟體和工具的處理能力的資料

2)巨量資料特點

①海量化(Volume):資料量從TB到PB
②多樣化(Variety):資料型別複雜,超過80%的資料是非結構化的
③快速化(Velocity):資料量在持續增加(兩位數的年增長率)
資料的處理速度要求高
④高價值(Value):在海量多樣資料的快速分析下能夠發揮出更高的資料價值

3)巨量資料能做什麼(海量資料背景下)

①快速查詢 全量查詢
② 資料儲存 量大 檔案大
③ 快速計算 對邊傳統方式 【屬於離線計算】
④ 實時計算 最新資料
⑤資料探勘 新價值

4)巨量資料專案流程

①資料生產
②資料採集
③資料儲存
④需求分析
⑤資料預處理
⑥資料計算
⑦結果資料儲存
⑧結果資料展現