PySpark大数据技术与应用 课件 2.2 搭建分布式模式的PySpark开发环境.pptx

搭建分布式模式的PySpark开发环境;为了搭建分布式模式的PySpark开发环境，需要准备如下安装包。;构建分布式模式需要多台计算机，将采用3台计算机（节点）搭建分布式Spark集群，其中1台作为Master节点，其余2台作为Slave节点。

为了方便搭建分布式模式开发环境，将采用VirtualBox软件创建3台虚拟主机master、slaver1和slaver2，模拟出3台计算机搭建的分布式环境。;;本文使用VirtualBox虚拟机软件安装三台虚拟机计算机，通过网络将其连接在一起完成分布式集群搭建。

VirtualBox网站（/）;要将3台虚拟机通过网络连接在一起完成集群搭建，需要为虚拟机创建网络。VirtualBox提供多种网络模式，在不同网络模式中主机与虚拟机，虚拟机与外部网络访问规则是不同的。

本文采用最后一种网络模式，NAT网络创建虚拟机网络。;在VirtualBox软件菜单中选择“管理”→“全局设置”，在VirtualBox全局设置对话框的航栏中，选择“网络”，如左图。

创建NAT网络的名称为“NatNetwork”以及IP地址范围，如中、右图。

在NatNetwork中，主机访问虚拟机需要通过端口转发功能才能与虚拟机通信。;在VirtualBox中创建Linux虚拟机。

选择虚拟机中运行的操作系统的类型。

为虚拟机分配内存。

创建虚拟磁盘并指定虚拟机磁盘文件的类型