基于弹性云计算的开源海量数据处理平台.docVIP

西 安 邮 电 大 学 毕 业 设 计（论 文） 题 目： 海量数据处理平台 院 （系）： 专 业： 班 级： 起止时间： 毕业设计（论文）诚信声明书 本人声明：本人所提交的毕业论文《基于弹性云计算的开源海量数据处理平台》是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的文献、数据、图件、资料均已明确标注；对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式注明并表示感谢。 本人完全清楚本声明的法律后果，申请学位论文和资料若有不实之处，本人愿承担相应的法律责任。 论文作者签名： 时间： 年 月 日 指导教师签名： 时间： 年 月 日 西 安 邮 电 大 学 毕业设计(论文)任务书 学生姓名 王 哲 指导教师 李晓戈 职称 教授 院(系) 计算机学院 专业 软件工程 题目 基于弹性云计算的开源海量数据处理平台 任务与要求 分析研究亚马逊弹性Map Reduce平台构架。 运用云计算开源技术框架，搭建动态虚拟的云计算环境。 3. 运用hadoop 开源技术；安装制作hadoop虚拟服务器模板。 4. 运用wordCount算法进行map reduce海量文本数据测试。 开始日期 2012年9月17日 完成日期 2013年5月31日 院（系）主任 (签字) 2012 年 9 月 20 日 西 安 邮 电 大 学 毕 业 设 计 (论文) 工 作 计 划 学生姓名___王哲 ___指导教师_ 李晓戈___职称___教授 院（系）____计算机学院_________专业____软件工程 题目 基于云计算的开源海量数据处理平台 _______________________________________________________ 工作进程 2012.9.17 —— 2012.11.1 查阅资料文献，完成开题报告 2012.11.2 —— 2012.12.1 阅读了解hadoop亚马逊弹性Map Reduce 平台架构 。 2012.12.2 —— 2013.02.1 搭建多节点的hadoop,并研究相关算法，实施方案 2013.02.2 —— 2013.03.1 提交中期汇报表，编写代码 2013.03.2 —— 2013.04.1 进行测试，分析结果 2013.04.2 —— 2013.05.31 编写论文，修改装订  主要参考网站 1，/elasticmapreduce/ 2，http：//www．C/products-services/enterprise/ /servlet/lbservlet/download/18052-102-19049/ installation.pdf 4，Hadoop Cluster Setup 服务器4台，PC机  西安邮电大学 毕业设计(论文)开题报告 计算机 院（系） 软件工程 专业 09 级 01 班 课题名称： 基于弹性云计算的开源 海量数据处理平台 学生姓名： 王哲 学号： 指导教师： 李晓戈 报告日期： 2012年11月5日 本课题所涉及的问题及应用现状综述 当今时代，互联网高速发展，上网人群急剧上升，必然会出现信息大爆炸。对提供网络服务的互联网公司来说，这些海量信息的存储，实时处理，数据检索，数据挖掘与智能应用等信息处理能力将面临新的挑战。技术架构也迫切需要以动态可伸展为特点的支持海量数据处理的新的存储计算模式。 这种存储计算模式因为弹性可伸缩的特性，现在受到谷歌，亚马逊、IBM等为代表的众多高科技公司的重视，成为各公司应对海量数据处理的利器。比如说，应用在线服务托管领域的亚马逊弹性云，Zoho在线办公，著名的谷歌搜索等。本文的主要目的是构建一个分布式海量数据处理系统来存储和处理这