基于Hadoop的车联网作业调度优化问题研究-计算机科学与技术专业论文.docxVIP

分类号： 密级： U D C ： 编号： 工学硕士学位论文 基于 Hadoop 的车联网作业调度优化问题研究 硕士研究生 ：颜廷帅 指 导 教 师 ：张国印 教授 学 位 级 别 ：工学硕士 学科、专业 ：计算机科学与技术 所 在 单 位 ：计算机科学与技术学院 论文提交日期 ：2015 年 3 月 论文答辩日期 ：2015 年 3 月 学位授予单位 ：哈尔滨工程大学 Classified Index： U.D.C： A Dissertation for the Degree of M. Eng Research on Job Scheduler for Vehicle Networking System based on Hadoop Platform Candidate： Yan Tingshuai Supervisor： Prof. Zhang Guoyin Academic Degree Applied for： Master of Engineering Specialty： Computer Science and Technology Date of Submission： Mar. 2015 Date of Oral Examination： Mar. 2015 University： Harbin Engineering University 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本人独立完成的。 有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注 明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。 作者（签字）： 日期： 年 月 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作 的知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门或机构送 交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进 行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的 全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一 署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文（□在授予学位后即可 □在授予学位 12 个月后 □解密后）由哈尔滨工 程大学送交有关部门进行保存、汇编等。 作者（签字）： 导师（签字）： 日期： 年 月 日 年 月 日 基于 基于 Hadoop 的车联网作业调度优化问题研究 哈尔滨工程大学硕士学位论文 哈尔滨工程大学硕士学位论文 摘 要 随着时间推移车联网系统中数据的规模越来越大，对作业处理的难度也越来越高， 传统的数据处理模式已经无法适应海量数据的操作。因此基于云计算的分布式计算模 型在车联网系统中得到了广泛的应用。Hadoop 是当前较为优秀的开源分布式云计算平 台，Hadoop2.0 是新一代的 Hadoop 平台，其在 Hadoop1.0 的基础上增加了资源管理框 架 YARN。而作业调度器是 YARN 的核心组件，直接关系到整个云计算平台的计算性 能和资源利用。 车联网系统以 Hadoop2.0 平台为基础进行构建。系统中的作业为内存密集型，且 对实时性有着较高的要求。然而当前对 Hadoop 实时作业调度的研究集中于 Hadoop 1.0 框架，并且在满足作业实时性的同时没有考虑系统资源使用效率。本文在对 YARN 和 当前调度器研究的基础上，结合车联网系统中作业的特点,提出了内存感知实时作业调 度器。该调度器中主要设计了资源分配中心、双层抢占策略和最小资源评估模型。资 源分配中心为了同时满足动态资源模型和内存密集型作业的特性，选择内存来量化集 群中的资源，并在作业初始化后对作业进行可调度性分析和资源分配。双层抢占策略 通过 Surplus-RBTree 数据结构来选择抢占的作业，根据任务的执行进度选择抢占的任 务。最小资源评估模型将任务执行时间推测模型与拉格朗日乘数法相结合，计算出保 证作业在截止期前完成需要的最小资源量，从而确保了作业的实时性。 本文采用理论分析和模拟实验相结合的方法，在 Hadoop 集群中模拟车联网系统， 并使用典型的内存密集型作业 PiEstimator 来模拟车联网中的作业，进而验证算法的有 效性。通过对实验数据的分析，验证了该算法在 Hadoop 2.0 中能够满足车联网作业的 实时性要求，同时也表明了算法中抢占策略和资源分配中心能有效的提高资源的使用 效率，并能够平衡节点