Spark大数据分析实务 课件 项目7 基于Spark开发环境实现广告流量检测违规识别 .pptx

项目7基于Spark开发环境实现广告流量检测违规识别知识准备

教学目标知识目标掌握JDK安装和环境配置。掌握在IDEA等编程软件创建Scala工程。掌握Spark运行环境配置。

教学目标技能目标能够本地环境下配置JDK环境，实现Java环境运行。能够在IDEA中配置相关插件和开发依赖包，实现Scala工程创建。能够在开发环境中添加Spark运行环境配置，实现Spark程序运行。

教学目标素质目标具备新的学习思维模式，通过扩展思维空间，进而深度了解Spark开发环境搭建。具备刻苦钻研的学习态度，通过学习Spark运行环境配置，实现Spark程序运行。具备灵活地运用思维，通过学习SparkShell及Spark集成开发环境，能够应用到实际需求中。

思维导图

项目背景在实际业务场景中，广告流量检测违规识别面临着数据量大和对违规识别的要求高等挑战。使用SparkShell会对每个指令做出反馈，能够为执行Spark迭代操作快速得到结果，适合用于快速测试和探索数据，但对于大规模的数据处理和复杂的任务，其性能可能不如使用集成开发工具。

项目背景同时，SparkShell的交互式操作方式可能不够灵活，对于需要频繁运行和调试的任务来说，编程开发工具能够提供更好的开发和调试体验。因此，使用集成开发工具可以更好地解决实际的广告流量检测违规识别。当前集成开发环境工具主要有IntelliJIDEA和Eclipse，本书采用比较大众化的IntelliJIDEA开发工具。本项目通过搭建Spark开发环境，将多行代码、多个类进行协调，实现广告流量检测违规识别。

项目目标通过搭建Spark开发环境，对广告流量检测数据搭建模型，通过算法构建分类模型，并将程序提交到集群中运行，实现广告流量检测违规识别。

目标分析配置集群连接参数设置，将广告流量检测违规识别Spark程序编译成Jar包，在集群环境中运行。保存广告流量检测违规识别训练完成后的模型和预测结果。

搭建Java开发环境搭建Spark开发环境

搭建Java开发环境积累基本的知识和技能，加强基础研究，形成良好的工作和学习习惯，培养健康的心理状态和人际关系，再加上进一步地学习、工作和成长，才能够更加稳固地迈向成功。由于Spark是使用Scala语言开发的，而Scala运行在Java虚拟机（JVM）之上的，可以兼容现有的所有Java程序，故在搭建Spark开发环境之前先进行Java环境开发。

安装JDK8在JDK官网下载JDK8安装包，根据电脑的系统选择对应的版本，其中x86表示32位Windows系统，x64表示64位Windows系统。以64位Windows系统为例安装JDK8，安装包名为jdk-8u281-windows-x64.exe。

安装JDK8安装JDK8的操作步骤如下。设置JDK安装目录。双击JDK8安装包，进入安装向导界面，单击“下一步”按钮。弹出的JDK的定制安装窗口如图所示，设置好JDK8的安装目录（本书的安装在E盘，路径为：E:\ProgramFiles\Java\jdk1.8.0_281\），单击“下一步”按钮。

安装JDK8取消Jre安装。在安装的过程中，会跳出要求安装Java目标文件夹（Jre）的安装窗口，如左图所示，由于JDK自带了Jre，所以无须单独安装Jre，单击右上角的关闭按钮，弹出的Java安装窗口，如右图所示，单击“是”按钮。

安装JDK8JDK安装完成。JDK安装成功后的界面如图所示，单击“关闭”按钮完成安装。

设置环境变量环境变量一般指在操作系统中用来指定操作系统运行环境的一些参数，如path.当要求系统运行一个程序而没有告诉系统程序所在的完整路径时，系统除了在当前目录下面寻找此程序外，还会到path中指定的路径去找。

设置环境变量在编译程序时，需要用到javac这个编译工具，而javac存放在java的安装目录下，当需要在其他目录调用javac时，系统会因在当前目录找不到就会报错，为了方便以后编译程序，不用每次编译时都在java安装目录中，所以需要进行环境变量设置。环境变量设置的基本流程如图所示。

设置环境变量环境变量设置步骤如下。打开高级系统设置。鼠标右击“此电脑”，选择“属性”选项，在“相关设置”中单击“高级系统设置”选项，弹出“系统属性”窗口，如图所示。

设置环境变量新建系统变量。单击图的“环境变量”按钮，在“系统变量”选项卡中单击“新建”按钮，新建JAVA_HOME变量，变量值为JDK8安装路径，如图所示，单击“确定”按钮。

设置环境变量编辑环境变量。在系统变量中找到Path变量，单击“编辑”按钮，在弹出的“编辑环境变量”窗口中，单击“新建”按钮.然后输入JDK安装路径下的bin目录，如图所示，单击“确定”按钮。

设置环境变量验