Spark函数之glom 2015-08-21 21:13

说明

该函数是将RDD中每一个分区中各个元素合并成一个Array,这样每一个分区就只有一个数组元素。。

1
2
3
val a = sc.parallelize(1 to 9, 3)
a.glom.collect
res66: Array[Array[Int]] = Array(Array(1, 2, 3), Array(4, 5, 6), Array(7, 8, 9))
Tags: #Spark    Post on Spark-API