Hadoop云计算平台搭建方案2..docxVIP

Hadoop云计算平台搭建方案2. Hadoop云计算平台搭建方案2. Hadoop云计算平台搭建方案2. Hadoop 云计算平台搭建方案 一、平台搭建归纳 1.1 整体思路 针对于电网企业在营销效劳领域张开的大数据解析办理， 搭建 Hadoop 云计算平台进行海量 数据储藏， 并作深层次加工、办理， 挖掘出无法简单直观即可获取的新的模式，为电力企业 的决策供应指导。平台采用 作为海量数据储藏和解析工具，将其部署在 4 个 物理计算机节点上， 搭建 Hadoop 集群，其中 1 个节点作为 master 节点，其他 3 个作为 slave 节点。为了获取更好的牢固性，平台搭建在 Linux 系统〔 〕环境 下。 1.2 软件列表 软件 描述 VMware Workstation 虚假化软件 Ubuntu Linux 操作系统 JDK Java 的软件开发工具包 Hadoop 开源的云计算基础框架 HBase 分布式数据储藏系统 Zookeeper Hadoop 可靠协调系统 Sqoop 数据迁移工具 1.3 平台搭建总流程和节点信息一览表 在平台搭建前， 给出实现的总流程图和节点信息一览表，有一个全局的认识，平台搭建总流程如以以下图所示。  版本 VMware Workstation 从而对平台搭建过程和各节点信息 创立虚假机 master，达成 JDK 、 Hadoop 等应用的安装和配置 对虚假机 master 进行克隆，获取的虚 拟机分别作为 slave1、slave2 和 slave3 达成 Zookeeper、 HBase 等其他分布 式效劳的部署，搭建 Hadoop 集群 运行并测试 Hadoop 集群系统 各节点信息以下表所示： 机器名 IP 地址 用户名 充当角色 master hadoop JobTracker 、 Namenode slave1 hadoop TaskTracker 、 Datanode slave2 hadoop TaskTracker 、 Datanode slave3 hadoop TaskTracker 、 Datanode 二、基础平台的搭建步骤 此次大数据储藏和办理平台的搭建， 需要 4 台物理节点来部署 Hadoop 平台环境。 我们使用 虚假机软件 VMware Workstation 创立 4 台虚假机，承载平台搭建工作。别的，由于对 4 台 虚假机的配置全局部是同样的，因此利用 VMware Workstation 的克隆功能，能够减少部署 的工作量。 2.1 安装虚假机软件  VMware Workstation 第一在  4 台  PC 机器上均安装虚假化软件  VMware Workstation  ，并输入相应的序列号。 2.2 在 master  节点上安装  Linux  系统  Ubuntu 在设定为 master PC 节点上第一安装 Linux 系统〔版本为 ubuntu-11.04-desktop-i386 〕，在安装过程中为提高后期安装软件的兼容性和牢固性， 在系统语言上选择英语。 创立用户名为 “hadoop 〞的一般用户， 设置一致的密码。 安装达成后将系统的 terminal 命令窗口调出来，以便使用。 同时，为实现虚假机的 Ubuntu 系统与本机的 Windows 系统之间方便快捷的文字复制粘贴 以及物理主机系统与虚假机系统相互拖放文件进行共享，需要安装 VMare Tools 工具，详尽 操作以下： 启动虚假机，进入 Ubuntu 系统，在 VM 菜单栏“虚假机 (M) 〞的下拉菜单点击“安装 VMare Tools(T) 〞后，会弹出一个“ VMare Tools 〞文件夹，里面包括 VMare Tools 的安装包  .gz ，将该安装包拷贝到  /home/hadoop  目录下，输入命令 进行解压安装： 此时在 /home/hadoop/ 目录下产生 vmware-tools-distrib  .gz  文件夹，进入该目录，经过在 terminal  终端输入相应命令，运行   脚本： cd /home/hadoop/vmware-tools-distrib  // 进入目录  // 执行   脚本 按提示屡次“回车〞直至显示安装成功的信息，再重启系统即可。 在达成上述操作后，为保障 Hadoop 集群各节点之间的无阻挡通信，需关闭系统防火墙。在 重启系统后，在 terminal 终端输入命令： sudo ufw disable 当显示“ Firewall stopped and disable on system startup 〞时表示防火墙已关闭，假