《大数据基本处理框架原理与实践》PPT课件（共16次课）第十一次课：Spark的进一步实践2.pptVIP

IDEA中python开发环境的安装 （1）python的安装 打开linux终端，python的安装可以通过如下命令完成。 ? //安装python sudo apt install python IDEA中python开发环境的安装 （2）python编辑插件的安装 在IDEA欢迎窗口的下部选择browse repositories按钮 IDEA中python开发环境的安装 （2）python编辑插件的安装 在新弹出的窗口的左上角的输入框中输入python，并在列出的选项中选择下图所示的python community edition选项，然后点击图中绿色install按钮进行在线安装 IDEA中python开发环境的安装 （3）配置python项目环境 在安装完python插件之后，重新启动IDEA，选择创建python工程，并点击project SDK按钮（如下图所示），选择安装的python的SDK。 IDEA中python开发环境的安装 （3）配置python项目环境 当python项目创建成功之后，还需要设置python和Spark的环境变量。点击run-edit configuration，在弹出的窗口中（如下图所示），点击绿色的加号按钮，然后选择python，此时窗口的内容如右侧显示。然后点击窗口中的enviroment variables按钮，在弹出的小窗口中设置python和Spark的环境变量。 IDEA中python开发环境的安装 （3）配置python项目环境 在Spark和python环境变量设置完成之后，通过file-project struncture打开如下图所示的窗口。点击窗口左侧列表中的module选项，在窗口右侧的区域中，选择denpences选项卡，就会看到如下图所示的右侧窗口的内容。然后点击最右侧的绿色加号按钮，在弹出的下拉菜单中选择第一个JARs or directories选项，并在弹出的窗口中，找到spark下python文件中Lib的路径（如下图所示）。这些操作完成之后，点击Ok，并在弹出的窗口中选择Jar Directory即可。 IDEA中python开发环境的安装 （4）测试 通过new-python file创建一个名为test.py的python文件，填入如下图所示的内容。然后右键选择Run test，如果在IDEA的状态栏看到运行结果，即证明项目创建和配置成功。 本周实践任务 一、实践Spark的共享变量 二、实践基于pySpark的Kmeans实现 三、初步尝试实践基于pySpark的TF-IDF实现 要求： （1）过程要求截图，并对过程进行文字性的介绍说明 （2）要对程序进行详细的注释说明 谢谢大家！ * * * * 第十一次课：Spark的进一步实践2 刘春 计算机与信息工程学院数据科学系 河南省时空大数据产业技术研究院 河南大学 报告提纲 Spark创建RDD的常见方式 Spark的共享变量 上节课知识点回顾 Spark编程实例 基于IDEA+Maven的WordCount程序 在IDEA中安装Scala插件与SDK 基于Scala的wordcount Spark程序 基于Java的wordcount Spark程序 三方面的内容 基于Scala的wordcount Spark程序 （6）修改pom.xml文件 一、基于IDEA编辑和运行wordCount程序 ?xml version=1.0 encoding=UTF-8? project xmlns=/POM/4.0.0 xmlns:xsi=/2001/XMLSchema-instance xsi:schemaLocation=/POM/4.0.0 /xsd/maven-4.0.0.xsd modelVersion4.0.0/modelVersion !-- 这里的信息就是我们在创建项目过程中所填写的groupId、artifactId等信息 -- groupIdcom.liu/groupId artifactIdWordCountScala/artifactId version1.0-SNAPSHOT/version ? !-- 项目的依赖的jar包，一定要注意spark-core jar包的id后面还有一个scala的版本号-- dependencies dependency groupIdorg.apache.spark/groupId artifactIdspark-core_2.11/artifactId version2.4.5/version /dependency dependen