内容文稿检查点spark api.pptx

sparkAPI(六)

本章要点一、collectAsMap二、checkpoint三、coalesce

collectAsMap功能和collect函数类似。该函数用于PairRDD，最终返回Map类型的结果。官方文档说明：函数原型defcollectAsMap():Map[K,V]

collectAsMapscalavaldata=sc.parallelize(List((1,www),(1,iteblog),(1,com),(2,bbs),(2,iteblog),(2,com),(3,good)))data:org.apache.spark.rdd.RDD[(Int,String)]=ParallelCollectionRDD[26]atparallelizeatconsole:12scaladata.collectAsMapres28:scala.collection.Map[Int,String]=Map(2-com,1-com,3-good)

collectAsMap从结果我们可以看出，如果RDD中同一个Key中存在多个Value，那么后面的Value将会把前面的Value覆盖，最终得到的结果就是Key唯一，而且对应一个Value。

checkpoint为当前RD