分布式数据处理系统中配置及任务管理模块的设计与实现-软件工程专业论文.docx

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也 不包含为获得电子科技大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论 文的规定，有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 万方数据 万方数据 摘 要 摘 要 互联网行业正在以难以置信的速度发展并成为日常生活中不可或缺的一部 分，迅速抢占着传统服务行业的市场。随着业务和技术的飞速发展和用户量的激 增而来的就是指数级膨胀的数据量。在互联网行业习以为常的 TB 甚至 PB 级别的 数据压力下，传统的单节点数据处理方式已难以承担重任。在这样的背景下，分 布式的数据处理方式应景而生，并且迅速成为了主流大数据处理的解决方案。 本设计实现了一种在分布式的数据处理系统中进行全局统一配置数据的保存 和分发，以及管理大任务的模块。全系统中所有的配置信息都由本模块保存，并 且由管理员进行维护和管理。本模块同时也是系统中所有任务的发起者和回收者。 在系统初始化时本模块将向其它模块分发相应的数据使其能够顺利启动并初 始化。同时当配置数据发生更改时，将向关注这些信息的模块分发新数据，这样 所有模块的配置数据都是最新的。将所有的配置信息进行集中式统一管理可以保 证相同内容异地存放的数据都来自同一个来源，这样能够有效地避免由于配置数 据的不一致而导致系统启动或运行异常。 系统中的所有任务都由本模块生成和触发。对于数据的离线分析、结构化、 重组、备份等任务，管理员可通过本模块进行相应任务执行计划的制定，本模块 将按照执行计划通过定时器或者监控系统运行情况来触发相应的任务；对于实时 的数据查询、重组等任务，管理员可直接通过本模块设置相关参数后直接触发任 务。每个任务执行结束后将生成一条相关的日志，来记录此次任务的执行情况， 之后释放该任务申请的资源，对于查询任务，还将缓存查询结果以避免重复查询 给系统造成的不必要的压力。为防止由于极端情况导致的任务丢失所带来的数据 不完整，我们会定期对任务日志进行完整性扫描，并触发丢失的任务，来保证系 统数据的完整性。 为了防止意外情况导致的宕机，我们采用双机冷备的方式将任务执行的情况 备份至远端数据库，以防止任务重复执行或者申请的资源得不到释放。 关键词：MapReduce，分布式，系统配置，任务管理 I ABSTRACT ABSTRACT Internet is developing in unbelievable speed and become an integral part of daily life, seizing the market of most traditional industries. With the rapid development and increasing of users, data quantity is expanding in exponential speed. Under the pressure of accustomed data quantity in internet industry of TB or even PB level, traditional single-node data processing strategy is quite difficult to take. Under circumstance like that, distributed data processing strategy is developed, and quickly became the mainstream of data processing solutions. Our design implemented a model which store and distribute global configuration data, and manage unsplited tasks. Any configuration data in this system is stored and preserved by