Hadoop大数据平台构建与应用(工作手册式)（微课版） 课件全套 时东晓 第1--11章 基础环境搭建与配置 -- 广电大数据用户画像.pptx

基础环境搭建与配置

项目介绍

Linux，全称GNU/Linux，是一套免费使用和自由传播的类Unix操作系统，是一个基

于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux不仅系统性能稳

定，而且是开源软件，其核心防火墙组件性能高效、配置简单，保证了系统的安全。

由于Linux操作系统在安全性、稳定性等方面的优秀表现，在服务器领域承担着十分

重要的角色，另外更重要的是因为Linux开放权限，让用户能自由地操作Linux系统，

在命令运行错误时能根据错误提示找到原因，所以一般Hadoop环境部署在Linux操作

系统上。

在Linux操作系统中，当今最受欢迎的主流免费操作系统当属Ubuntu和CentOS。

项目介绍

Ubuntu是一个以桌面应用为主的Linux操作系统；CentOS是一款企业级Linux

发行版，它使用红帽企业级Linux中的免费源代码重新构建而成。对于初学者

来说CentOS更适合入门，笔者经过一些比较和调研后，建议选择CentOS操作

系统。

本项目的主要目标为提供一个搭建Hadoop大数据平台部署的基础环境的指南，

由于本手册教材主要面向应用型和职业教育类的学生，所以本项目将介绍在

Windows操作系统上如何搭建平台需要的三个节点的CentOS虚拟机环境和SSH

工具连接虚拟机，以及如何进行Hadoop平台安装部署所需要的基础环境配置。

任务安排和学习目标

任务安排

任务1搭建虚拟机

任务2连接Xshell和Xftp工具

任务3Hadoop平台基础环境配置

学习目标

（1）熟悉虚拟机的搭建和配置。

（2）熟悉Xshell和Xftp工具连接。

（3）掌握系统基础环境配置。

（4）掌握SSH免密配置。

（5）掌握JDK的安装与配置。

1.1搭建虚拟机

任务描述

本手册的任务是学习Hadoop完全分布式集群环境部署和其生态圈主要组件的安装配置和应用，由于在Hadoop环

境中，所有的服务器节点仅划为两种角色，分别是master（主节点，1个）和slave（从节点，多个），因为当

Hadoop集群数为（2n+1）时容错性能是较好的，又考虑到大部分读者的电脑配置条件，所以集群数定为（n=1）

3节点，即集群架构包含一个主节点和两个从节点，节点基本信息如表1-1所示。其中IP地址请参考任务1.1.3，

根据本地实际情况设置。

表1-1集群节点信息

本任务将完成在Windows操作系统上搭建Hadoop完全分布式集群平台需要的三个节点的CentOS虚拟机。

表1-1集群节点信息

序号主机名IP

1master81

2slave182

3slave283

任务分析

要求读者本地基本配置为Windows7或以上操作系统（64位）、8GB+内存、100GB+可用磁盘。

本任务利用虚拟机软件先创建master节点的虚拟机，并进行基本的网络配置；在master节点的基

础上克隆slave1和slave2，并进行相应的网络配置修改，以便SSH远程终端工具能够正常连接访问。

1.1安装虚拟机软件

虚拟机软件可以在计算机平台和终端用户之间建立一种环境，而终端用户则是基于这个软件所建立的环境

来操作软件。常用虚拟机软件有：VirtualBox，VMwareWorkstation，VirtualPC等，其中VMware

Workstation是一款功能强大的电脑桌面虚拟计算机软件，提供用户可在单一的桌面上同时运行不同的操

作系统，和进行开发、测试、部署新的应用程序的最佳解决方案。VMwareWorkstation可在一部实体机

器上模拟完整的网络环境，以及可便于携带的虚拟机器，其更好的灵活性与先进的技术胜过了市面上其他

的虚拟