Spark Map函式


在Spark中,Map通過函式傳遞源的每個元素,並形成新的分散式資料集。

Map函式範例

在此範例中,我們為每個元素新增一個常數值10。要在Scala模式下開啟Spark,請按照以下命令操作 -

$ spark-shell

使用並行化集合建立RDD。

scala> val data = sc.parallelize(List(10,20,30))

現在,可以使用以下命令讀取生成的結果。

scala> data.collect

應用map函式並傳遞執行所需的表示式。

scala> val mapfunc = data.map(x => x+10)

現在,可以使用以下命令讀取生成的結果。

scala> mapfunc.collect

在這裡,得到了所需的輸出。