hadoop集群的自动化部署.docVIP

安 徽 农 业 大 学 毕 业 论 文（设计） 论文题目 Hadoop集群的自动化部署研究 姓 名 周云扬 学 号 院 系 信息与计算机学院 专 业 网络工程 指导教师 朱军 职 称 副教授 中国·合肥 二〇一四 年 五 月  安徽农业大学学士学位论文（设计）开题报告 课题名称 Hadoop集群的自动化部署研究 课题 来源 自拟 学生姓名 周云扬 专业 10网络工程 学号 指导教师 朱 军 职称 副教授 研究内容 (1)系统安装： (2)hadoop 环境部署：使用Apache Ambari管理Hadoop通过安装向导简化了集群 研究 计划 1月初~2月底：熟悉以往的生产环境部署过程，提出改进过程。 3月初~3月低：根据提出的改进过程，调研可行方案，并确定最终方案 。 4月初~4月低：部署测试和自动化安装平台和集群环境。 5月初~5月中：测试整个平台的的易用性和稳定性。 5月低：撰写毕业设计论文，准备毕业论文答辩。 特色 与 创新 (1)适用于大规模集群部署，提高效率，节省用户时间。 (2)用户可以很方便的管理和控制集群并有效地查看信息 指导 教师 意见 同意开题 教 研 室 意 见 同意开题 院 系 意 见 主要领导签名： 年 月 日 目录 1 引言 1 2 自动化部署工具介绍 1 3 Cobbler的安装部署和配置以及使用 2 3.1 Cobbler的介绍 2 3.2 Cobbler的设计方式 2 3.3 Cobbler的安装 3 3.3.1 Cobbler的安装 4 3.3.2 Cobbler的配置 5 3.3.3设置centos系统的环境 6 3.3.4 Cobbler的使用 8 4 使用Ambari部署Hadoop 12 4.1环境准备 12 4.1.1配置免秘钥登录 13 4.1.2批量分发公钥 14 4.2 Ambari的安装 15 4.1.1配置源 15 4.1.2构建本地源 15 4.1.3配置ntp服务 16 4.1.4安装ambari-server服务 17 4.1.5开启服务 18 4.3使用Ambari部署Hadoop 19 5 结束语 26 参考文献 26 英文摘要 27 致谢 27 Hadoop集群的自动化部署研究 学生：周云扬，指导教师：朱军 (安徽农业大学 信息与计算机学院 合肥 230036) 摘 要：Hadoop作为当下最主流的分布式计算已成为当前互联网企业主流的规模也越来越大要占用大量的时间和精力效地mbari是对adoop进行监控、管理和生命周期管理的基于网页的开源项目可以使安装hadoop集群，管理hadoop集群服务，监控集群节约了大量的人力和时间 关键词：cobbler，ambari，自动化部署，hadoop集群 引言 Hadoop作为分布式计算平台 生产线环境一般包括两部分，系统和应用。系统是基础，应用是重点。自动化部署应该包含这两部分，本文会用到以下自动化工具。 (1)Cobbler：Redhat最新发布的的自动化部署系统工具，可以管理dhcp，tftp，更重要的是它可以针对特定mac地址服务器作设置，这样安全性大大提高。还提供了web接口和API，操作起来更简单同时也便于二次开发。 (2)Ambari：hadoop的管理平台，同时也方便hadoop的部署。类似的还有CloudManager，在本文中部署的hadoop2.0的环境。支持一键安装各种组件，如hbase、hive、pig等等。因为这些组件中也是分布式的，部署的流程是基于hadoop环境搭建好，所以也比较麻烦。更值得注意的是，它可以帮助我们很轻松的安装ganglia和nagios,这样有助于我们观察子节点的状态，如 datanode读写数据，内存，磁盘等等资源使用情况。方便我们对配置作调整，进一步优化集群。 Cobbler的部署和使用 Cobbler的介绍 对于在服务器数量按几百台、几千台增加的公司而言，单单是装系统，如果不通过自动化来完成，根本是不可想象的。运维自动化安装方面，早期一般使用人工配置pxe+dhcp+tftp配合kickstart，Cobbler是一个快速网络安装linux的服务，是Red Hat 最新发布了网络安装服务器套件 Cobbler 的设计方式 Cobbler 的配置结构基于一组注册的对