- 1、本文档共14页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
基于MapReduce调度算法研究和实现 开题报告
Page ? * 基于MapReduce调度算法的研究和实现 专业:计算机应用技术 主要内容 计划进度,预期成果 研究方法、技术路线、实验方案、可行性研究 研究目标、研究内容、拟解决的关键问题 国内外研究现状分析 课题的研究背景和意义 课题背景 数据的规模呈指数增长,每三年翻一番 流行的解决方案:建立大型的计算机系统 云计算是一种商业模型,将计算任务分布在大量计算机构成的资源池上,使用户能按需获取计算能力,存储空间和信息服务 MapReduce:一个处理和生成超大规模集数据的编程模型的相关实现 课题意义 调度的主要功能:对作业执行的顺序以及计算资源的分配进行控制 自带调度器 FIFO(先进先出) 公平调度器 容量调度器 存在不足 FIFO:长期使用系统资源,影响了系统的交互能力 公平调度器和容量调度器:要进行预先的配置,配置的适当与否决定着系统的性能的好坏 国内外现状分析 云计算研究现状 调度算法研究现状 Hadoop默认调度器 公平调度器 容量调度器 其它 研究目标 研究内容 拟解决的关键问题 研究方法 任务执行时间的调度问题 map:通过调度器随机选择几个任务执行,然后将其平均运行时间作为剩余map任务的运行时间 reduce:reduce任务的时间估算比较困难,拟采用调度器启动一个额外的reduce任务 区分工作类型问题 拟采用数学模型:任务的执行时间和任务执行过程中的磁盘利用率的函数关系 创新之处 将Hadoop自带的先进先出调度算法中加入最早截止期的策略,使得调度算法能按照用户要求的截止期顺利执行 将区分不同的调度工作,提高集群资源利用率 在任务的执行过程中预测执行时间,为调度提供依据 实验平台 实验 环境 硬件环境 软件环境 Hadoop版本:0.20.2 Jdk的版本:1.6.0.01 6-7台服务器 4CPU,16核 内核频率为2.16GHz,内存是12G 进度安排 时间 进度 2013年4月前 收集资料,阅读大量相关的国内外文献 2013年5-9月 研究各类调度算法,进行实验,研究实验结果,并对比现存几种调度器的优缺点 2013年9-12月 结合前期的研究,提出改进现存调度算法模型,进行改进调度算法的实验,并与现存调度器进行对比 2014年1-3月 综合研究成果,开始撰写学位论文,并修改学位论文 2013年4月 完成学位论文,准备答辩 预期成果 基于MapReduce调度算法研究和实现的相关学术论文 学术 论文 按期完成硕士学位论文 谢谢! Page ? *
文档评论(0)