第4章Spark环境搭建和使用.pptx

主讲人：xxx《Spark》大数据处理技术

Spark环境搭建和使用第4章

第4章Spark环境搭建和使用4.1Spark开发环境概述4.2操作系统及其网络环境准备4.3Spark环境搭建4.4Spark集群环境测试本章小结

第4章Spark环境搭建和使用

4.1Spark开发环境概述Spark可以运行在Linux或Windows系统上，在Linux系统上运行效率更高，当前使用Linux作为Spark操作系统环境更为主流。本章首先介绍LinuxCentOS7操作系统及其网络环境的安装和部署，然后部署包括jdk、hadoop、mysql、apache-hive、zookeeper、scala、kafka、spark在内的Spark相关应用软件，最后对整体环境进行测试，最后使用Spark-submit提交任务进行环境测试。

4.1Spark开发环境概述4.1Spark的搭建环境Spark环境搭建至少需要三台计算机，硬件方面建议使用i5及以上系列的CPU和至少8G内存的计算机。为了方便上机实践，本书使用VMware虚拟机软件创建三台虚拟机。如果条件允许，实验环境也可以部署在三台实体计算机中，安装方法与虚拟机的部署过程一样，Spark运行环境如所示。主机名操作系统IP地址软件环境masterCentOS7jdk-8u212hadoop-2.6.4mysql80-communityapache-hive-2.3.6zookeeper-3.4.6scala-2.12.8kafka_2.10-spark-2.4.7-bin-hadoop2.6slave1CentOS7jdk-8u212hadoop-2.6.4zookeeper-3.4.6、scala-2.12.8kafka_2.10-spark-2.4.7-bin-hadoop2.6Slave2CentOS7jdk-8u212hadoop-2.6.4zookeeper-3.4.6scala-2.12.8kafka_2.10-spark-2.4.7-bin-hadoop2.6

4.2操作系统及其网络环境准备4.2.1操作系统环境1．安装VMware日常使用的电脑大部分都是Windows系统，而Spark环境要部署在Linux系统中。为了不影响电脑的正常使用，一般不会把Windows系统更换为Linux，最好的解决方案就是安装虚拟机软件，在虚拟机中安装Linux系统，此书中使用的虚拟机软件是VMwareWorkstation，读者可自行下载安装此软件。2．安装Linux操作系统（1）下载操作系统镜像文件在浏览器地址栏中输入Linux的CentOS发行版对应的官方下载地址“/download/”，将对应的系统镜像文件下载到本地，如图所示。【注意】CentOS7镜象文件的文件名是例如“CentOS-7-x86_64-DVD-2009.iso”的（主版本号为7或7.x，后缀名必须为“.iso”），占用空间约为4.4GM左右，文件名不要求和上述文件名完全一致。

4.2操作系统及其网络环境准备4.2.1操作系统环境接下来在虚拟光驱中引入下载好的操作系统镜像文件，以便第一次启动系统时利用光盘中的系统镜像文件进行启动。选择“使用ISO镜像文件”选项，按“浏览”按钮找到下载好的操作系统镜像文件，勾选“设备状态”选区的“启动时连接”选项，点击“确定”按钮，如图所示。

4.2操作系统及其网络环境准备4.2.1操作系统环境

4.2操作系统及其网络环境准备4.2.1操作系统环境开启虚拟机在虚拟机管理界面中点击“开启此虚拟机”按钮，过几秒钟就能进入CentOS系统的安装引导界面，如图所示。此时通过键盘的方向键选择“InstallCentOS7”选项安装Linux系统，界面中的“TestthismediainstallCentOS7和Troubleshooting的作用分别是“校验光盘完整性后再安装”以及“启动救援模式”。在这里不需要检测，直接安装即可。【注意】在纯命令行的Linux系统中是看不到光标的，当在屏幕上能够看到正常的光标时，就意味着你不在虚拟机中。点击一下虚拟机屏幕就能进入虚拟机，CTRL+ALT的组合键可以从当前虚拟机中退出。

4.2操作系统及其网络环境准备4.2.1操作系统环境【长知识】第一次开启虚拟机时，有些电脑不能直接进入操作系统引导界面，会出现如图4-6的提示，这是因为当前BIOS没有开启“允许虚拟化”功能，进入BIOS开启此功能后才能正常运行虚拟机。目前Inter和AMD生产的主流CPU都支持虚拟化技术，但很多电脑或主板在出厂时的BIOS设置是禁用执行虚拟化的。由于电脑品牌不同，进入BIOS和启动