《大数据基本处理框架原理与实践》PPT课件（共16次课）第十二次课：Spark的进一步实践3.pptVIP

第十二次课：Spark的进一步实践3 刘春 计算机与信息工程学院数据科学系 河南省时空大数据产业技术研究院 河南大学 报告提纲 基于pySpark的TF-IDF算法实践 上节课知识点回顾 Spark程序的基本框架 创建RDD以及对RDD进行转换的过程 所以：创建描述需要处理的数据的RDD是Spark编程的起点！！ 基于Scala集合创建RDD （1）parallelize方法 var data=List(1,2,3,4,5,6,7,8)//List类型的数据集合 val datardd=sc.parallelize(data)//sc为SparkContext对象 def parallelize[T: ClassTag]( seq: Seq[T], numSlices: Int = defaultParallelism): RDD[T] 该方法的接口声明如下 该方法的使用示例如下 输入数据的集合对象 并行数，可以缺省 基于Scala集合创建RDD （1）makeRDD方法 该方法与parallelize方法类似，使用示例如下 var data=List(1,2,3,4,5,6,7,8)//List类型的数据集合 val datardd=sc.makeRDD(data)//sc为SparkContext对象 基于外部存储系统创建RDD 常见的外部存储系统 本地文件系统 HDFS （1）textFile方法 val lines = sc.textFile(hdfs://localhost:9000/dataset/example.txt)//从HDFS中读取数据 val lines = sc.textFile(file:///home/hadoop/example.txt)//从本地读取数据 基于外部存储系统创建RDD （2）hadoopFile方法 Hadoop支持我们自定义输入和输出的格式。为此，Spark也提供了hadoopFile方法来根据自定义的输入格式从一个文件中读取数据并形成key, value键值对，然后基于这些键值对数据创建RDD。 val file = sc.hadoopFile[LongWritable, Text, TextInputFormat](path, minPartitions) hadoopFile方法的使用示例 基于外部存储系统创建RDD （3）hadoopRDD方法 newAPIHadoopRDD方法的使用示例 val rdd = sc.newAPIHadoopRDD(job.getConfiguration(),TextInputFormat, LongWritable, Text) job为Hadoop的MapReduce的作业任务对象。Job对象封装了输入数据的文件路径以及输入格式等信息。hadoopRDD方法将根据job对象的configuration中获取输入文件的路径等信息。 在上节读取Hbase中的数据来创建RDD时已经应用过该方法！ Spark的共享变量：广播变量 广播变量的目的 当我们将Spark程序中的某个变量声明为广播变量之后，Spark的Driver只会给每个Executor发送一份该变量的副本，而不是每个Task拥有一个该变量的副本 一个Executor中的多个Task共享该变量，减少了网络数据的传输，也减少了对Executor资源的占用。 不能将一个RDD定义为一个广播变量广播到各个Executor中，因为RDD是一个抽象的数据结构，其中并不包含其所描述的数据！！ 当一个变量被定义为广播变量之后，其便不能被修改！！ Spark的共享变量：广播变量 广播变量示例 import org.apache.spark.SparkContext import org.apache.spark.SparkConf ? object BroadcastTest { def main(args: Array[String]) { val conf=new SparkConf() .setMaster(local)//本地启动 .setAppName(BroadcastTest) ? //创建SparkContext对象 val sc=new SparkContext(conf) ? val str = hadoop//定义一个将被作为广播变量的变量 val broadCast = sc.broadcast(str)//将一个变量定义为广播变量 ? val textFile=sc.textFile(hdfs://localhost:9000/dataset/example.txt)//读取HDF