《大数据处理技术Spark》.PDF

厦门大学研究生课程 《大数据处理技术Spark》 /post/7659/ 温馨提示：编辑幻灯片母版，可以修改每页 PPT的厦大校徽和底部文字 第5章 Spark编程基础 （PPT版本号：2017年春季学期） 林子雨 厦门大学计算机科学系 E-mail: ziyulin@ 扫一扫访问班级主页 主页：/linziyu 《大数据处理技术厦门大学计算机科学系Spark》 厦门大学计算机科学系 林子雨 2017 ziyulin@年版 提纲 5.1 RDD编程 5.2 Pair RDD 5.3 共享变量 5.4 数据读写 5.5 WordCount程序解析 5.6 综合案例 免费在线教程：/blog/spark/ 《大数据处理技术Spark》 厦门大学计算机科学系 林子雨 ziyulin@ 5.1 RDD编程 5.1.1 RDD创建 5.1.2 RDD操作 5.1.3 持久化 5.1.4 分区 5.1.5 打印元素 《大数据处理技术Spark》 厦门大学计算机科学系 林子雨 ziyulin@ 5.1.1 RDD创建 从文件系统中加载数据创建RDD 通过并行集合（数组）创建RDD 《大数据处理技术Spark》 厦门大学计算机科学系 林子雨 ziyulin@ 从文件系统中加载数据创建RDD ?Spark采用textFile()方法来从文件系统中加载数据创建RDD ?该方法把文件的URI作为参数，这个URI可以是： ?本地文件系统的地址 ?或者是分布式文件系统HDFS的地址 ?或者是Amazon S3的地址等等 《大数据处理技术Spark》 厦门大学计算机科学系 林子雨 ziyulin@ 从文件系统中加载数据创建RDD （1）从本地文件系统中加载数据 scala val lines = sc.textFile(file:///usr/local/spark/mycode/rdd/word.txt) lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark/mycode/rdd/word.txt MapPartitionsRDD[12] at textFile at console:27 （2）从分布式文件系统HDFS中加载数据 scala val lines = sc.textFile(hdfs://localhost:9000/user/hadoop/word.txt) scala val lines = sc.textFil