Spark大数据分析与实战（第二版） 课件 项目4 IDEA下分析碳排放数据.pptx

大数据分析与实战项目4IDEA开发环境下分析碳排放数据

现有一组我国碳排放数据，反映了1997-2019年各种燃料产生的二氧化碳排放量，要求借助IntelliJIDEA开发工具，编写程序，完成对该组数据的分析。2022年政府工作报告中明确提出：完善减污降碳激励约束政策，加快形成绿色生产生活方式。情境导入Spark

项目分解Spark序号任务任务说明1配置IntelliJIDEA开发环境下载IntelliJIDEA开发工具，完成相关配置，并初步体验IDEA下的Spark应用开发。2IDEA下分析碳排放数据在IntelliJIDEA工具下，使用SparkRDD技术，完成碳排放数据的分析。3缓存与检查点机制引入RDD缓存机制、检查点，提升程序效能。4广播变量与累加器在原有程序基础上，引入共享变量机制。

理解RDD持久化策略，根据需求设置RDD检查点、缓存。能够安装配置IDEA工具，创建工程，编写、运行、打包的应用程序。了解累加器，能够使用简单的广播变量实现数据共享；123学习目标Spark

项目4编写Scala程序处理新能源汽车销售数据Spark任务1配置IDEA开发环境IDEA下编写碳排放分析程序使用RDD持久化提升运行效率任务2任务3认识RDD共享变量任务4

任务分析Spark安装IntelliJIDEA、安装插件，以及创建工程、编写代码等工作；在IDEA下创建工程，编写Scala代码，采用SparkRDD方式读取carbon.csv碳排放数据文件，打印前3行。

下载安装IntelliJIDEASparkIntelliJIDEA是jetbrains推出的一款流行集成开发环境工具，借助IDEA可以便捷的开发Java、Scala等各种应用。进入官网（或本教材配套软件包）下载社区版安装包（Community版）。

下载安装IntelliJIDEASpark解压安装包，并启动sudotar-zxvfideaIC-2023.3.2.tar.gz-C/usr/local//解压到指定目录下。cd/usr/local/idea-IC-233.13135.103/bin//进入IDEA的bin目录./idea.sh//启动IDEA

安装Scala插件Spark

创建工程——创建Scala文件夹Spark

创建工程——添加ScalaSupportSpark

创建工程——修改porm.xmlSpark

编写并运行程序Spark

编写并运行程序Sparkimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkConfobjectSparkTest{defmain(args:Array[String]):Unit={//创建SparkConf对象confvalconf=newSparkConf().setMaster(local[*]).setAppName(SparkRDDTest)//根据conf，创建SparkContext对象scvalsc=newSparkContext(conf)....................}}

编写并运行程序Spark

相关知识小结SparkSparkShell主要用于个人学习、测试功能，商业开发需要高效率的工具支持；IDEA是一款流行的开发工具。IDEA下，要想开发RDD应用，需要手工创建创建SparkContext对象。安装、配置完IntelliJIDEA后，读取碳排放csv数据文件，打印前三行信息。任务实施

项目4编写Scala程序处理新能源汽车销售数据Spark任务1配置IDEA开发环境IDEA下编写碳排放分析程序使用RDD持久化提升运行效率任务2任务3认识RDD共享变量任务4

任务分析Spark针对给定的碳排放数据，在IDEA开发环境下，使用SparkRDD技术进行以下指标的分析：（1）找出煤炭产生的排放量最高的年份Top3；（2）计算2010-2019年的10年内，石油类能源的碳排放总量。

文件首行的处理Spark在很多原始数据文件中，文件的第一行并不是真正的需要分析的数据，而是“表头信息”，即表明文件的字段（列名称）等；可以借助Linux命令去掉；cd/home/hadoop/data#进入carbon.csv的存储目录sed1dcarbon.csvcarbon-without-head.csv#去掉文件首行，另存为新文件

文件首行的处理Spark除了使用sed命令，通过编程的方式也可以去掉数据文件