基于YARN框架下并行化计算的研究-计算机技术专业论文.docxVIP

黯额KRR 黯额KRR ie l i t - - 本人的学位论文是在导师指导下独立撰写并完成的，学位论文没 有到窃、抄袭、造假等违反学术道德、学术规范和侵权行为，否则， 本人愿意承担由此而产生的法律责任和法律后果，特此郑重声明。 学位论文作者(签名):报销 ?{J年 5 月 J，? 日 . 阜 阜新问问 学位论文使用搜权书 本论文作者完全了解学校关于保存、使用学位论文的管理办法及规定，即学 校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅，接受社会监督。本人授权西北师范大学可以将本学位论文的全部或部 分内容编入学校有关数据库和收录到(( 1:1:1 国博士/硕士学位论文全文数据库》进 行信息服务，也可以采用影印、缩印或扫描等复制手段保存或汇编本学位论文。 本论文提交口当年/口一年/口两年/口三年以后，同意发布。 若不选填则视为一年以后同意发布。 注:保密学位论文，在解密后适用于本授权书。 ，\ …J 作者签名= 吁也 J叫 导师签名: /Vff--;- -、只f 年 - 、 万方数据 万方数据 西北师范大学研究生学位论文作者信息 论文题目 基于 YARN 框架下并行化计算的研究 姓名 朱敏明 学号 2013201206 专业名称 计算机技术 答辩日期 2015 年 5 月 14 日 联系电话E_mail HYPERLINK mailto:979084675@ 979084675@ 通信地址(邮编)：甘肃省兰州市安宁区西北师范大学 967 号（730070） 备注： 摘要 Apache开源组织开发的Hadoop框架中最核心的设计就是MapReduce编程模 型和HDFS分布式文件系统。MapReduce为海量的数据提供了并行化计算，而 HDFS为海量的数据提供了存储。 MapReduce是一种并行编程模型，它主要用于海量数据集的并行运算。在最 初推出的几年里，这种并行编程模型取得了众多的成功案例，在业界也得到了广 泛的支持和肯定，但是随着分布式系统集群的规模不断增长和其他工作负荷的剧 增，原框架的问题也就渐渐浮出水面。MapReduce编程模型在现有的机制下需要 对它做出大规模的调整来修复其在内存消耗，扩展性，线程模型，可靠性和性能 上的缺陷。在过去的几年中，Hadoop团队做了一些bug的修复，但是随着修复的 成本越来越高，这表明对原框架作出改变的难度越来越大。所以Apache开源组织 为了促进Hadoop框架走的更远，在根本上解决影响MapReduce性能的关键性问题， 从 0.23.0 版本开始，对旧的MapReduce框架进行完全重构，在结构上发生了根 本性的变化。Apache开源组织将重构后的MapReduce框架命名为Hadoop 2.0 或者 叫YARN。 本文通过详细的阐述了MapReduce的编程思想，工作原理，具体步骤和方法。 接着又详细的阐述了YARN编程模式，以及 YARN 框架机构，工作原理，具体 步骤和方法。并将YARN与MapReduce进行了比较，研究了MapReduce的不足和 缺点，并概括了YRAN与MapReduce的不同之处。最后，通过搭建Hadoop集群环 境，再基于YARN框架进行了MapReduce并行计算的实验，通过实验证明了，基 于 YARN框架下并行计算的高效性，可靠性。 关键词: Hadoop；MapReduce ；YARN；ID3；并行计算 I Abstract The core of the Hadoop framework of the Apache framework is the MapReduce programming model and the HDFS distributed file system. MapReduce provides the parallel computation for the massive data, while HDFS provides the storage for the massive data. MapReduce is a kind of parallel programming model, it is mainly used for parallel computing of huge amounts of data sets. In initially launched a few years,this kind of parallel programming model has achieved many successful cases, in the industry also has been widely support and