Hadoop云计算平台搭建方案.docxVIP

Hadoop?云计算平台搭建方案 一、平台搭建概述 总体思路 针对于电网企业在营销服务领域展开的大数据分析处理，搭建?Hadoop?云计算平台进行海量 数据存储，并作深层次加工、处理，挖掘出无法简单直观便可得到的新的模式，为电力企业 的决策提供指导。平台采用作为海量数据存储和分析工具，将其部署在?4?个物理计算机节点 上，搭建?Hadoop?集群，其中?1?个节点作为?master?节点，其余?3?个作为?slave?节点。为了获 取更好的稳定性，平台搭建在?Linux?系统（）环境下。 软件列表 软件 VMware?Workstation 描述 虚拟化软件 版本 VMware?Workstation 操作系统 JDK Java?的软件开发工具包 开源的云计算基础框架 分布式数据存储系统 可靠协调系统 数据迁移工具 平台搭建总流程和节点信息一览表 在平台搭建前，给出实现的总流程图和节点信息一览表，从而对平台搭建过程和各节点信息 有一个全局的认识，平台搭建总流程如下图所示。 创建虚拟机?master，完成?JDK、 Hadoop?等应用的安装和配置 对虚拟机?master?进行克隆，得到的 虚拟机分别作为?slave1、slave2?和 完成?Zookeeper、HBase?等其它分布 式服务的部署，搭建?Hadoop?集群 运行并测试?Hadoop?集群系统 各节点信息如下表所示： 机器名 master slave1 slave2 slave3 IP?地址??????????????用户名???????????充当角色 、Namenode 、Datanode 、Datanode 、Datanode 二、基础平台的搭建步骤 此次大数据存储和处理平台的搭建，需要?4?台物理节点来部署?Hadoop?平台环境。我们使用 虚拟机软件?VMware?Workstation?创建?4?台虚拟机，承载平台搭建工作。另外，由于对?4?台 虚拟机的配置大部分是相同的，所以利用?VMware?Workstation?的克隆功能，可以减少部署 的工作量。 安装虚拟机软件?VMware?Workstation 首先在?4?台?PC?机器上均安装虚拟化软件?VMware?Workstation，并输入相应的序列号。 在?master?节点上安装?Linux?系统?Ubuntu 在设定为?master?PC?节点上首先安装?Linux?系统（版本为），在安装过程中为提高后期安装 软件的兼容性和稳定性，在系统语言上选择英语。创建用户名为“hadoop”的普通用户，设 置统一的密码。安装完成后将系统的?terminal?命令窗口调出来，以便使用。 同时，为实现虚拟机的?Ubuntu?系统与本机的?Windows?系统之间方便快捷的文字复制粘贴以 及物理主机系统与虚拟机系统相互拖放文件进行共享，需要安装VMare?Tools?工具，具体操 作如下： 启动虚拟机，进入?Ubuntu?系统，在?VM?菜单栏“虚拟机(M)”的下拉菜单点击“安装?VMare Tools(T)”后，会弹出一个“VMare?Tools”文件夹，里面包含?VMare?Tools?的安装包，将 该?安?装?包?拷?贝?到?/home/hadoop?目?录?下?，?输?入?命?令?进?行?解?压?安?装?：?tar?xzvf?此?时?在 /home/hadoop/目录下产生?vmware-tools-distrib?文件夹，进入该目录，通过在?terminal 终端输入相应命令，运行脚本： cd /home/hadoop/vmware-tools-distrib $JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export?PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH?ocal/share/',?but?failed:?No?such file?or?directory (gedit:2949): Gtk-WARNING **: Attempting to store changes into `/root/.local/share/',?but?failed:?Failed?to?create?file?'/root/.local/share/':?No such?file?or?directory (gedit:2949): Gtk-WARNING **: Attempting to set the permissions of `/root/.local/share/',?but?failed:?No?such?file?or?directory 解决方法：只需直接在终端中输入命令：sudo mkdir -p /r