3,RDD计算流程解析.pptxVIP

Spark的架构设计RDD计算流程解析王老师，Spark亚太研究院院长和首席专家。目前中国唯一的移动互联网和云计算大数据集大成者，在完成了对Spark源码的彻底研究的同时不断在实际环境中使用Spark的各种特性的基础之上，编写了世界上第一本系统性的Spark书籍并开设了世界上第一个系统性的Spark课程。本期内容：1 RDD源码和示例2 RDD计算流程解析QQ交流群：?297931500微信公众号：spark-chinaWordCount with sort algorithmsc.textFile(“hdfs://...”).flatMap(_.split(“ ”)).map(_, 1).reduceByKey(_ + _).map(x = (x._2, x._1)).sortByKey(false).map(x = (x._2, x_1)).saveAsTextFile(“hdfs://…)Spark事件流Spark组件RDD GraphOptimizationsScheduling