02第二章hadoop环境设置.pdfVIP

第 2 章 Hadoop 环境设置 Hadoop 的安装方式有三种模式：单机模式（ Standalone Mode ）、伪分布式模式（ Pseudo- Distributed Mode ）、完全分布式模式（ Fully-Distributed Mode ）。 三种模式的特点和区别如下。 单机模式（ Standalone Mode ）：单机模式是指 Hadoop 运行在一台主机上，按默认配置以非分 布式模式运行一个独立的 Java 进程。单机模式的特点是：没有分布式文件系统，直接在本地操作 系统的文件系统读 /写；不需要加载任何 Hadoop 的守护进程。 它一般用于本地 MapReduce 程序的 调试。单机模式是 Hadoop 的默认模式。 伪分布式模式 （Pseudo-Distributed Mode ）：伪分布式模式是指 Hadoop 运行在一台主机上， 使 用多个 Java 进程，模仿完全分布式的各类节点。伪分布式模式具备完全分布式的所有功能，常用 于调试程序。 完全分布式模式（ Fully-Distributed Mode ）：完全分布式模式也叫集群模式，是将 Hadoop 运 行在多台主机中，各个主机按照相关配置运行相应的 Hadoop 守护进程。完全分布式模式是真正 的分布式环境，用于实际的生产环境。 本章将分别介绍安装前准备、 Hadoop 的三种模式的安装。 16 第 2 章 Hadoop 环境设置 2.1 安装前准备 个人搭建 Hadoop 环境，需要准备一台计算机，建议配置如下。 ● 64 位 Windows 操作系统。 ● 处理器：四核 2GHz 及以上。 ● 系统内存： 8GB 或更高。 ● 磁盘空间： 100 GB 的剩余空间。 ● 良好的网络环境。 本书采用的软件安装包如下。 ● 虚拟机版本： VMware? Workstation 14.1.2 build-8497320 。 ● Ubuntu 安装镜像文件： ubuntu-16.04.4-desktop-amd64.iso 。 ● XShell 6.0 及 XFtp 6.0 。 ● JDK 安装包： jdk-8u171-linux-x64.tar.gz 。 ● Hadoop 安装包： hadoop-2.7.3.tar.gz 。 2.1.1 安装虚拟机 虚拟机是一种虚拟化技术，它能实现在现有的操作系统上多运行一个或多个操作系统。本书 在 Windows 64 位操作系统上安装 VMware 公司的虚拟机软件 VMware? Workstation Pro ，并安装 Ubuntu 16.04 操作系统。安装虚拟机的步骤如下。 （1）下载 VMware 安装包。到 VMware? Workstation Pro 官网，选择对应的版本进行下载。 本书选择的版本是 VMware? Workstation 14 Pro 。 17 Hadoop 大数据技术与应用 （2 ）安装 VMware 。双击安装文件，按提示操作至安装完成。 （3 ）新建虚拟机。打开 VMware 软件，单击主页的【创建新的虚拟机】按钮开始创建虚拟机， 如图 2-1 所示。