内容文稿检查点spark api.pptx

下载文档

1
0
约2.26千字
约 11页
2024-08-23 发布于北京
举报
版权申诉
保障服务

内容文稿检查点spark api.pptx

1、本文档共11页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

sparkAPI(六)

本章要点一、collectAsMap二、checkpoint三、coalesce

collectAsMap功能和collect函数类似。该函数用于PairRDD，最终返回Map类型的结果。官方文档说明：函数原型defcollectAsMap():Map[K,V]

collectAsMapscalavaldata=sc.parallelize(List((1,www),(1,iteblog),(1,com),(2,bbs),(2,iteblog),(2,com),(3,good)))data:org.apache.spark.rdd.RDD[(Int,String)]=ParallelCollectionRDD[26]atparallelizeatconsole:12scaladata.collectAsMapres28:scala.collection.Map[Int,String]=Map(2-com,1-com,3-good)

collectAsMap从结果我们可以看出，如果RDD中同一个Key中存在多个Value，那么后面的Value将会把前面的Value覆盖，最终得到的结果就是Key唯一，而且对应一个Value。

checkpoint为当前RDD设置检查点。该函数将会创建一个二进制的文件，并存储到checkpoint目录中，该目录是用SparkContext.setCheckpointDir()设置的。在checkpoint的过程中，该RDD的所有依赖于父RDD中的信息将全部被移出。对RDD进行checkpoint操作并不会马上被执行，必须执行Action操作才能触发函数原型defcheckpoint()

checkpointscalavaldata=sc.parallelize(1to100000,15)data:org.apache.spark.rdd.RDD[Int]=ParallelCollectionRDD[12]atparallelizeatconsole:12scalasc.setCheckpointDir(/iteblog)scaladata.checkpointscaladata.count15/02/1511:47:47INFORDDCheckpointData:DonecheckpointingRDD12tohdfs://iteblogcluster/iteblog/5f2053e9-a02f-4661-ad1d-2250a8473e92/rdd-12,newparentisRDD13res17:Long=100000

checkpointbin/hadoopfs-ls/iteblog/5f2053e9-a02f-4661-ad1d-2250a8473e92/rdd-12Found15items-rw-r--r--...2015-02-15/iteblog/5f2053e9-a02f-4661-ad1d-2250a8473e92/rdd-12/part-00000-rw-r--r--...2015-02-15/iteblog/5f2053e9-a02f-4661-ad1d-2250a8473e92/rdd-12/part-00001-rw-r--r--...2015-02-15/iteblog/5f2053e9-a02f-4661-ad1d-2250a8473e92/rdd-12/part-00002

coalesce对RDD中的分区重新进行合并。函数原型defcoalesce(numPartitions:Int,shuffle:Boolean=false)(implicitord:Ordering[T]=null):RDD[T]返回一个新的RDD，且该RDD的分区个数等于numPartitions个数。如果shuffle设置为true，则会进行shuffle

coalescescalavardata=sc.parallelize(List(1,2,3,4))data:org.apache.spark.rdd.RDD[Int]=ParallelCollectionRDD[45]atparallelizeatconsole:12scaladata.partitions.lengthres68:Int=30scalavalresult=data.coalesce(2,false)result:org.