分布式业务集成部署平台设计与实现-软件工程专业论文.docx

I I 摘 要 摘 要 近年来，随着应用的多样化发展和大数据时代的来临，学术界和工业界设计 并实现了多种分布式业务系统作为编程框架来应对日益增多的数据类型和应用需 求多样性挑战，例如适用于离线批处理场景的框架 MapReduce、适用于流式计算 场景的框架 Storm、适用于内存迭代计算场景的框架 Spark、适用于 DAG 计算场 景的框架 Tez、适用于图计算场景的框架 Pregel 等。在未来的发展中，新的计算框 架有很大概率会持续性出现。无论是现有框架还是未来的框架，都将专注于特定 应用场景，不会出现某个计算框架能适用于全部的应用场景，成为它们共同的最 佳选择。在生产环境中，分布式业务系统经常也离不开某些通用服务，例如 Web 服务器、数据库服务器等。为每个分布式业务系统提供专门的基础设施，单独设 计部署存在扩展性差、利用率偏低等问题。 针对以上这些问题，本文结合国内外现有的研究情况，分析当前部署支撑平 台的架构和特点，设计并实现了分布式业务系统集成部署平台（Distributed business system Deploy Platform，DDP），提供自动化部署分布式业务系统并高伸缩定制化 运营的基础支撑服务。主要工作与创新点如下： 1．实现集群复用，在一个集群整体上运行各种计算框架等分布式业务系统， 并根据异构性的业务资源请求，自适应最优匹配的承载节点。基于业务负载动态 扩容和收缩。按需索取计算资源，当业务负载超过阈值高位值时，进行动态扩容， 为业务模块的分配更多的资源，当业务负载小于低位值时，进行收缩，回收空闲 资源。实时监控业务系统模块运行的情况，当发生故障时，能在其他部署节点上 重启运行，保证了故障常态下的容错。 2．优化了双层调度模型，多个调度器通过对集群状态的共享进行资源分配并 优化了冲突概率。提高了系统的并发度。 3．采用了开源容器承载业务系统的运行，提升了系统的隔离性和可扩展性。 通过功能测试，本系统对具备有效的监控和容错处理，能够对计算资源进行 合理分配。 关键词：容器、集群复用、业务部署、资源调度模型 II II ABSTRACT ABSTRACT With the coming of big data era and diversified development of application, academic circle and industry circle designed and delivered multiple distributed business systems as programming framework in order to address the challenge of the increasing data type and demand of application, such as off-line batch processing framework Map Reduce、stream computing framework Storm、memory iterative computation framework Spark、DAG computation framework Tez、schemata computation framework Pregel. In the foreseeable future, new computation framework probably appears. Every framework focuses on specific application scenario. It’s unlikely that one computation framework can be the optimal option for all application scenarios. Distributed business system is always closely connected with general services in production environment，such as Web server、database server. There will be some issues, like poor scalability, low utilization rate, if we offer dedicated infrastructure and individual design for each distributed business system. To solve above issues, we analyze the structure and characteri