云平台搭建流程总结.pdfVIP

云平台搭建流程总结 --许康 目录 1、云平台搭建简要概述 1 （1 ）云平台运行环境概述 1 （2 ）云平台搭建架构概述 1 （3 ）集群机器信息3 （4 ）搭建云平台需要的软件包3 2.云平台搭建流程详述 3 （1 ）打开terminal 终端，输入 sudo yum install ssh,用于被远程访问3 （2 ）安装rsync ，输入sudo yum install rsync 3 （3 ）修改机器名称4 （4 ）本机IP 地址的设置 4 （5 ）hosts 文件设置 5 （6 ）JDK 的安装6 （7 ）SSH 无密码验证7 （8 ）hadoop 的安装与配置 10 3、hadoop 的启动与验证 14 （1 ）格式化HDFS 文件系统 14 （2 ）启动hadoop 14 （3 ）验证hadoop 15 0 1、云平台搭建简要概述 （1）云平台运行环境概述 所谓的云平台就是云计算与存储平台。 此云平台搭建是在 linux 虚拟机上进行的，因为搭建云平台需要三台以上 的 linux 主机做服务器，在现行环境下，给三台 win7 电脑装 linux 系统比较繁 琐，不切实际，所以在自己的 win7 电脑上面使用VMvare 准备三台一模一样的 linux 虚拟机 （centos ）搭建云平台环境不失为一简便可行的方案，就能够抛开 硬件环境，在虚拟机上来方便的搭建云平台服务器集群。在 vmvare 上面装 centos 操作系统流程很简单，参考网上做法即可，并且克隆出几个一模一样的 虚拟机 centos 网上都有资料，即点击当前的虚拟机右键点击管理，在弹出的菜 单中选择克隆即可。 VMware 可以在个人本地一台电脑上同时运行二个或更多 Windows、DOS、 LINUX 系统。与“多启动”系统相比，VMWare 采用了完全不同的概念。多启 动系统在一个时刻只能运行一个系统，在系统切换时需要重新启动机器。 VMWare 是真正”同时”运行，多个操作系统在主系统的平台上，就象标准 Windows 应用程序那样切换。而且每个操作系统你都可以进行虚拟的分区、配 置而不影响真实硬盘的数据，你甚至可以通过网卡将几台虚拟机用网卡连接为 一个局域网，极其方便。安装在 VMware 操作系统性能上比直接安装在硬盘上 的系统低不少，因此，比较适合学习搭建以及测试云平台环境。 （2 ）云平台搭建架构概述 目前分布式云平台搭建主流是基于 Hadoop 架构的，采用三台安装 Linux 环境的机器来构建一个小规模的分布式集群 ，其体现效果等同于在一台电脑上 用三台 linux 虚拟机构建一个小规模的分布式集群。 Hadoop 是并行技术、分布式技术和网格计算技术发展的产物，是一种为 适应大规模数据计算和存储而发展起来的模型架构。Hadoop 是 Apache 公司旗 下的一个分布式计算和存储的框架平台，能够高效存储大量数据，而且可以编 写分布式应用程序来分析计算海量数据。Hadoop 可在大量廉价硬件设备集 群 中运行程序，为各应用程序提供可靠稳定的接口来构建高扩展性和高可靠性的 1 分布式系统。Hadoop 具有成本低廉、可靠性高、容错性高、扩展性强、效率 高、可移植性强、免费开源的优点。 Hadoop 的核心功能有两个：HDFS 与 MapReduce。与 HDFS 相关的服务 有 NameNode、SecondaryNameNode 及 DataNode ；与MapReduce 相关的服 务有 JobTracker 和 TaskTracker 两种。当最终基于 Hadoop 的云平台搭建完成 时 ，在主服务器上启动服务器集群后，就会看到这5 个服务进程启动起来。 Hadoop 集群中有两种角色：master 与 slave ，master 又分为主 master 与次 master。其