基于数据密集型计算的作业管理系统的研究设计-Indico.PPT

DYB-DIOM 本作品采用知识共享署名-非商业性使用 2.5 中国大陆许可协议进行许可。 专业交流 模板超市 设计服务 NordriDesign中国专业PowerPoint媒体设计与开发 本作品的提供是以适用知识共享组织的公共许可（ 简称“CCPL” 或 “许可”） 条款为前提的。本作品受著作权法以及其他相关法律的保护。对本作品的使用不得超越本许可授权的范围。 如您行使本许可授予的使用本作品的权利，就表明您接受并同意遵守本许可的条款。在您接受这些条款和规定的前提下，许可人授予您本许可所包括的权利。 查看全部… 基于数据密集型计算的作业管理系统的研究与设计 高能物理研究所计算中心 阚博文 石京燕 王新华 高能物理研究所计算中心 DYB-DIOM 目录 背景 研究问题 系统构架 消息队列机制 作业代理存储策略 “推拉”架构设计 批作业提交 数据库设计 容错机制设计 总结 背景 数据密集型计算处理的是海量的、分布性的数据，其数据量一般是TB甚至是PB级别的 数据密集型计算，所需要的资源、分析能力和理解能力都必须建立在海量、分布、异构的数据管理平台上 数据密集型计算要求海量存储、高性能 计算平台上实现，无法在本地提供服务 Web服务通信问题 处理异构数据问题 系统的高可扩展性和兼容性 “大亚湾反应堆中微子实验”是中微子振荡实验。根据估算，实验将会产生长4PB的物理数据，这些数据将以计算作业的形式被分析处理。 研究问题 针对海量数据异构的特点和业界各种数据计算软件层出不穷的现状，需要考虑： 整个系统的兼容性 可以扩展其他软件，接口统一化； 数据规模庞大 传统的作业管理系统处理海量数据已经不能承受如此重负荷 客户端与服务器通信 海量数据给系统造成的管理压力巨大 用户的实时操作（查询、搜索等）； 作业管理系统的稳定性与可靠性 系统架构 系统架构--消息队列机制 Java Message Service（JMS） 是SUN提出的旨在统一各种MOM系统接口的规范，它持两种消息模型：点对点传送消息模型（Point-to-Point，简称P2P)和发布订阅消息模型（Publish Subscribe messaging，简称Pub/Sub） P2P P2P消息模型是在点对点之间传递消息时使用 Pub/sub Pub/Sub模型在一到多的消息广播时使用。如果一定程度的消息传递的不可靠性可以被接受的话，那么应用程序开发者也可以使用Pub/Sub消息模型 系统架构--消息队列机制 消息队列机制 目前在业界主要的开源消息中间件有ActiveMQ、OpenMQ、mom4j、OpenJMS、Hermes JMS?、HornetQ、ZeroMQ、 RabbitMQ等 可靠性 支持模式 速度（1K/出队） 其他 ActiveMQ √ P2P Pub/sub 2645 功能复杂 OpenMQ √ P2P Pub/sub 2162 RabbitMQ √ P2P Pub/sub 2982 耗内存 ZeroMQ √ P2P Pub/sub 41963 代码精简 系统架构--作业代理存储策略 客户端首先将作业提交到作业代理存储模块； 当作业处理模块空闲时，主动向作业代理存储模块拿（拉）作业，进行处理； 处理后，交给作业管理模块； 系统架构--推拉技术 系统架构--批作业提交 系统中的每个作业有相应的taskID，同一个taskID可能对应多个作业。 根据作业的进入时间，服务器每次顺序取出前十个taskID的作业。 并且当取出的作业总数目超过200个时，减少取出的taskID数目（上述数据会根据实际使用环境会做适当调整）。 将取出作业储存在内存中，提交作业。 系统架构--数据库设计 UnsubmitJob表用于存储用户向系统提交的作业，但是此作业并未提交给后台，在此主要为作业代理存储模块提供服务； CurrentJob主要用于存储已经提交作业（包括等待状态，运行状态，退出状态，运行结束等作业）； HistoryJob用于存储运行结束后，接收检查，状态为成功的作业，此表直接为数据集管理模块提供历史数据查询结果。 查询，分析等操作 系统架构--容错机制 在大亚湾作业后台系统中，根据可能发生的各种异常定义Exception Map。 系统实现 根据以上的研究与设计，我们系统地实现了一个易扩展的、健壮的作业管理系统——DYB-DIOM（Dayabay Data Intensive Job Management） DYB-DIOM系统中各个功能组件通过消息传递协同工作： DYB-DIOM支持XML-RPC和ZeroMQ两种通信协议，实现组件之间的数据以及控制消息的传递； 定义统一的标准模块接口； 设置缓存提交作业机制； 实现跨平台