分布式动态运行维护系统设计与实现-软件工程专业论文.docx

分布式 分布式动态运行维护系统设计与实现 万方数据 万方数据 万方数据 万方数据 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含 任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重 要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 保密□，在 年解密后适用本授权书。 本学位论文属于 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 分布式 分布式动态运行维护系统设计与实现 万方数据 万方数据 万方数据 万方数据 分布式动态运行维护系统设计与实现 摘 要 随着云计算、大数据相关技术和理念的不断传播，传统的集中式存储系统逐渐由分 布式的存储系统所取代，传统的结构化数据仓库的数据计算分析模式，也逐渐由基于 Hadoop 的分布式计算集群所取代。随之，系统的存储能力、计算能力都有了飞速发展， 各种软件也如雨后春笋层出不穷。系统规模的持续发展一方面为海量数据存储和计算提 供了强力支撑，同时另一方面为业务系统的运行维护、监控工作带来了巨大挑战。 传统的运行维护监控系统主要受限于来两方面：一是动态扩展性，一是监控规模。 本文基于插件技术，采用了可配置的设计理念，构建了分布式的动态运行维护系统。通 过配置化的资源管理，可动态注册新的监控资源类型，不再局限与以后的监控资源类型； 通过配置化的采集、汇总节点注册，可动态扩展系统监控、处理、计算能力，可实现对 大规模系统的监控。 本文首先对系统的需求进行了分析，讨论了基于分布式技术的系统构建方案，通过 动态采集节点、汇聚处理节点配置注册，实现了可扩展的动态分布式系统，满足了大规 模的系统对运维监控能力的需求。 然后，本文重点研究了监控资源的模型，通过高度归纳和分解，通过资源、指标、 阈值、状态、事件等五类元素模型建立，实现了监控资源的动态扩充，可基于五元素注 册新的监控资源类型，不再受限于固有的监控资源类型，满足了目前层出不穷的针对软 件和硬件进行监控维护的需求。 最后，本文为提升大规模系统监控的实时性，系统引入了高速缓存技术，构建了高 速缓存计算架构，极大地提升了系统监控实时性。 本文研究的内容已经应用实际工程，并在项目工程中得到较好的测试验证，进一步 证明系统研究内容是可行且具有一定实际工程价值的。 关键词：分布式系统，运维监控，插件技术，缓存技术 I THE DESIGN AND IMPLENMENTATION OF BIG DATA INTEGRATION PLATFORM ABSTRACT With the continuous spread of cloud computing, data correlation technology and the concept. The traditional centralized storage replaced by distributed storage, calculation and analysis of traditional structured database data replaced by distributed computing based on Hadoop cluster. Then, storage capacity, computing power system has made rapid development, all kinds of software are also springing up one after another.Provides a strong support to the development of the scale of the one hand system for massive data storage and computation of the sea. But, opera