Spark RDD 函数大全(11-20)

  1. glom
    defglom():RDD[Array[T]] 该函数是将 RDD 中每一个分区中类型为 T 的元素转换成 Array[T],这样每一个分 区就只有一个数组元素。
    scala>varrdd=sc.makeRDD(1to10,3) rdd:org.apache.spark.rdd.RDD[Int]=ParallelCollectionRDD[38]atmakeRDDat:21 scala>rdd.partitions.size res33:Int=3 //该 RDD 有 3 个分区 scala>rdd.glom().collect res35:Array[Array[Int]]=Array(Array(1,2,3),Array(4,5,6),Array(7,8,9,10)) //glom 将每个分区中的元素放到一个数组中,这样,结果就变成了 3 个数组
  2. union 并集
    valrdd1=sc.parallelize(List(5,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求并集 valrdd3=rdd1.union(rdd2) rdd3.collect
  3. distinct
    去重 valrdd1=sc.parallelize(List(5,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求并集 valrdd3=rdd1.union(rdd2) //去重输出 rdd3.distinct.collect
  4. intersection 交集
    valrdd1=sc.parallelize(List(5,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求交集 valrdd4=rdd1.intersection(rdd2) rdd4.collect
  5. subtract
    defsubtract(other:RDD[T]):RDD[T] defsubtract(other:RDD[T],numPartitions:Int):RDD[T] def subtract(other: RDD[T], partitioner: Partitioner)(implicit ord: Ordering[T] = null): RDD[T] 该函数返回在 RDD 中出现,并且不在 otherRDD 中出现的元素,不去重。
    valrdd1=sc.parallelize(List(5,6,6,4,3)) valrdd2=sc.parallelize(List(1,2,3,4)) //求差集 valrdd4=rdd1.subtract(rdd2) rdd4.collect
  6. subtractByKey
    defsubtractByKeyW(implicitarg0:ClassTag[W]):RDD[(K,V)] def subtractByKey[W](other: RDD[(K, W)], numPartitions: Int)(implicit arg0: ClassTag[W]):RDD[(K,V)] def subtractByKey[W](other: RDD[(K, W)], p: Partitioner)(implicit arg0: ClassTag[W]): RDD[(K,V)]
    subtractByKey 和基本转换操作中的 subtract 类似,只不过这里是针对 K 的,返回 在主 RDD 中出现,并且不在 otherRDD 中出现的元素。 参数 numPartitions 用于指定结果的分区数 参数 partitioner 用于指定分区函数
    varrdd1=sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2) varrdd2=sc.makeRDD(Array(("A","a"),("C","c"),("D","d")),2) scala>rdd1.subtractByKey(rdd2).collect res13:Array[(String,String)]=Array((B,2))
  7. groupbyKey
    valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2))) valrdd2=sc.parallelize(List(("jerry",2),("tom",1),("shuke",2))) //求并集 valrdd4=rdd1unionrdd2 //按 key 进行分组 valrdd5=rdd4.groupByKey rdd5.collect
  8. reduceByKey
    顾名思义,reduceByKey 就是对元素为 KV 对的 RDD 中 Key 相同的元素的 Value 进行 reduce,因此,Key 相同的多个元素的值被 reduce 为一个值,然后与原 RDD 中的 Key 组成一个新的 KV 对。 举例: valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2))) valrdd2=sc.parallelize(List(("jerry",2),("tom",1),("shuke",2))) //求并集 valrdd4=rdd1unionrdd2 //按 key 进行分组 valrdd6=rdd4.reduceByKey(+) rdd6.collect()
  9. sortByKey
    将 List(("tom",1),("jerry",3),("kitty",2), ("shuke",1))和 List(("jerry",2),("tom",3), ("shuke",2),("kitty",5))做 wordcount,并按名称排序 valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("shuke",1))) valrdd2=sc.parallelize(List(("jerry",2),("tom",3),("shuke",2),("kitty",5))) valrdd3=rdd1.union(rdd2) //按 key 进行聚合 valrdd4=rdd3.reduceByKey(+) //false 降序 valrdd5=rdd4.sortByKey(false) rdd5.collect
  10. sortBy
    将 List(("tom",1),("jerry",3),("kitty",2), ("shuke",1))和 List(("jerry",2),("tom",3), ("shuke",2),("kitty",5))做 wordcount,并按数值排序 valrdd1=sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("shuke",1))) valrdd2=sc.parallelize(List(("jerry",2),("tom",3),("shuke",2),("kitty",5))) valrdd3=rdd1.union(rdd2) //按 key 进行聚合 valrdd4=rdd3.reduceByKey(+)
    //false 降序 valrdd5=rdd4.sortBy(_._2,false) rdd5.collect

推荐阅读更多精彩内容