内容文稿检查点spark api.pptx

sparkAPI(六)

本章要点一、collectAsMap二、checkpoint三、coalesce

collectAsMap功能和collect函数类似。该函数用于PairRDD，最终返回Map类型的结果。官方文档说明：函数原型defcollectAsMap():Map[K,V]

collectAsMapscalavaldata=sc.parallelize(List((1,www),(1,iteblog),(1,com),(2,bbs),(2,iteblog),(2,com),(3,good)))data:org.apache.spark.rdd.RDD[(Int,String)]=ParallelCollectionRDD[26]atparallelizeatconsole:12scaladata.collectAsMapres28:scala.collection.Map[Int,String]=Map(2-com,1-com,3-good)

collectAsMap从结果我们可以看出，如果RDD中同一个Key中存在多个Value，那么后面的Value将会把前面的Value覆盖，最终得到的结果就是Key唯一，而且对应一个Value。

checkpoint为当前RDD设置检查点。该函数将会创建一个二进制的文件，并存储到checkpoint目录中，该目录是用SparkContext.setCheckpointDir()设置的。在checkpoint的过程中，该RDD的所有依赖于父RDD中的信息将全部被移出。对RDD进行checkpoint操作并不会马上被执行，必须执行Action操作才能触发函数原型defcheckpoint()

checkpointscalavaldata=sc.parallelize(1to100000,15)data:org.apache.spark.rdd.RDD[Int]=ParallelCollectionRDD[12]atparallelizeatconsole:12scalasc.setCheckpointDir(/iteblog)scaladata.checkpointscaladata.count15/02/1511:47:47INFORDDCheckpointData:DonecheckpointingRDD12tohdfs://iteblogcluster/iteblog/5f2053e9-a02f-4661-ad1d-2250a8473e92/rdd-12,newparentisRDD13res17:Long=100000

checkpointbin/hadoopfs-ls/iteblog/5f2053e9-a02f-4661-ad1d-2250a8473e92/rdd-12Found15items-rw-r--r--...2015-02-15/iteblog/5f2053e9-a02f-4661-ad1d-2250a8473e92/rdd-12/part-00000-rw-r--r--...2015-02-15/iteblog/5f2053e9-a02f-4661-ad1d-2250a8473e92/rdd-12/part-00001-rw-r--r--...2015-02-15/iteblog/5f2053e9-a02f-4661-ad1d-2250a8473e92/rdd-12/part-00002

coalesce对RDD中的分区重新进行合并。函数原型defcoalesce(numPartitions:Int,shuffle:Boolean=false)(implicitord:Ordering[T]=null):RDD[T]返回一个新的RDD，且该RDD的分区个数等于numPartitions个数。如果shuffle设置为true，则会进行shuffle

coalescescalavardata=sc.parallelize(List(1,2,3,4))data:org.apache.spark.rdd.RDD[Int]=ParallelCollectionRDD[45]atparallelizeatconsole:12scaladata.partitions.lengthres68:Int=30scalavalresult=data.coalesce(2,false)result:org.