具有自适应性的Storm任务部署与配置平台的研究-计算机应用技术专业毕业论文.docxVIP

IIIIIIlUll IIIIIIlUll IUl／III II Il U IIII I IIJ Y3058871 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 县盔自适廑丝鲍S主Q!坐堡鑫叠萋皇旦量垩鱼数丑窒 作者签名： 星# 么；芏—— 日期：二翌』L年—鱼月旦日 万方数据 大连理工大学硕士学位论文摘 大连理工大学硕士学位论文 摘 要 在大数据时代，我们正步入一个由数据驱动的经济社会，是否能够高效地、及时地 分析海量数据变成了一个产业成功与否的重要前提。在海量数据处理环境中有很多需要 在流式数据上进行复杂计算的情况。近些年来，Storm作为流数据实时处理利器在工业 界和学术界都引起了广泛关注，对Storm的处理性能的优化工作更是成为业界研究的热 点。已经有很多研究工作以优化Storm任务调度为出发点，在一定程度上提高了Storm 的处理数据的效率。但是他们大都忽略了任务配置参数的好坏对Storm处理性能的直接 影响。实际上，如果不能对任务配置参数有很恰当的设定，那么将对Stoma集群处理性 能以及稳定性产生严重影响，而且以往的优化方案也都不能够达到很理想的优化效果。 在研究了流式处理框架Stoma及相关技术的基础上，本文提出一种具有集群自适应 性的Storm任务部署与配置平台，致力于解决Storm集群性能优化问题。在本平台中， 本文主要实现了以下功能服务： (1)为监控集群资源变化情况、获取历史分配信息以及监控集群节点间任务通信 量的情况，本文设计实现了Storm集群感知模块； (2)为解决任务运行进程数目的盲目设置对处理性能造成的不良影响，本文设计 实现了Storm任务配置自调节模块： (3)为提高集群处理性能，在(1)和(2)的基础上，本文设计实现了一种基于 此平台的Storm调度算法。 经过实验证明，在结合对集群全局状态的感知以及对任务配置参数合理的自调节之 后，本文的调度算法能够大大减少集群内部任务通信量，在很大程度上提高了Storm集 群的处理性能，为海量流数据的分析处理提供了更为高效敏捷的处理方案。实验表明， 此方法在事务处理时延上要比Storm缺省调度方法低47．6％左右，比目前基于内部通信 量优化效果最好的调度算法OnlineScheduler低21．4％左右。 本文首先介绍了大数据环境下实时流数据处理的重要性以及流计算框架发展研究 情况，其次对本平台开发实现的相关技术进行了简要的介绍，然后对平台整体架构以及 核心模块的实现进行了系统性介绍，最后对平台的性能测试实验结果进行了分析介绍。 在论文的结尾处，进行了研究总结以及未来方向的展望。 关键词：流计算；Storm；任务配置；调度算法 万方数据 具有自适应性的Storm任务部署及配置平台的研究Research 具有自适应性的Storm任务部署及配置平台的研究 Research of Self-Adaptive Platform for Deployment and Configuration of the Storm Tasks Abstract In the Big Data era,we stride into a data—driven economic society．The ability to timely and effectively analyze massive data has become an important prerequisite for the success of an industry．Many modem data processing environments require processing complex computation on streaming data in real—time．Storm，an effective tool for processing streaming data in real．time．has caused widespread concern in industry and academia．The optimization of the processing performance of Storm has become a hot research topic．There have been many research