PySpark大数据技术与应用 课件 2.1 搭建单机模式的PySpark开发环境.pptx

搭建单机模式的PySpark开发环境;在Windows操作系统上搭建一个可以运行PySpark程序的开发环境，需要准备如下安装包;;由于Hadoop、Hive和Spark是由Java编写而成的，运行环境需要Java支持，所以需要下载安装Java开发工具包JDK

在Java官方网站下载版本为jdk-8u281的JDK。

在Windows系统下安装JDK可参考安装中的文字提示完成JDK的安装。;;Anaconda是Python的包管理器和环境管理器，包含了大量的Python科学包及其依赖项。

Anaconda可以便捷获取包且对包进行管理，同时也可以对Python环境统一管理。

Anaconda的安装可以通过官方网站或镜像网站下载Windows版本的安装包进行安装。;打开Anaconda管理器，

在“Environments”选项中创建指定版本的Python运行环境，如左图。

Anaconda默认使用JupyterNotebook作为Python语言的的编辑器，如右图。;;为了向Spark提供存储支持，需要安装Hive，Hive需要Hadoop运行环境，因此需要在Windows系统上搭建Hadoop单机运行环境。

下载Hadoop安装包并配置环境变量

修改Hadoop配置文件

复制工具文件

格式化NameNode

启动Hadoop

验证Hadoop是否安装成功;从ApacheHad