大规模集群系统任务调度和资源管理.pdf

摘要 摘要 集群技术是分布式计算的一个重要发展方向，目前，国外对它的研究非常深入，但国内 还处于起步阶段。对于该领域的研究具有1F常重要的意义，因为它与国家经济建设的众多部 门都有密切关系，在提高生产力、促进经济发展上具有很大的潜力。现在随着技术的发展， 集群的规模变得越来越人，已有集群的规模达剑了上千节点，在这种犬规模集群环境卜．如何 对集群资源进行有效的管理，如何对并行计算任务进行调度是重要的研究方向。因此，本文 将重点研究集群的资源管理和任务调度。 首先，在研究了现有集群资源管理系统的基础上，本文设计实现了一个集群资源管理系 统，该系统采用了分层分域的体系结构，避免分布式体系结构中网络消息过多的问题，减轻 了集中式的单节点瓶颈问题，提高了获取资源信息的实时性，具有良好的可扩展性，适用于 不同规模的集群环境，并且可以用于多集群。 然后，本文对DAG并行任务调度算法进行了研究，以调度长度最小(即执行时间最短)和 减少所需的处理机数目为目标，设计了一个基于动态关键任务复制的多处理器分配算法。并 且将该算法的调度结果和集群资源管理系统中的资源实时状态信息相结合，设计了一个基于 负载均衡的集群资源分配算法。 最后，对并行任务调度和资源分配进行了仿真实验，对集群资源管理系统进行了性能测 试。 关键词：集群集群资源管理DAG任务调度负载均衡 Abstract Abstract an ofdistributed Cluster is direction technologyimportant computing，atpresent， development in onthe atabroadthe aboutitis researchcluster study verydepth．Domestic technology,however, still its ofresearch becauseitis relatedwiththe is in field is infancy．This veryimportant closely various ofeconomic hasa in the countrysdepartments construction；itgreatpotentialimproving and economic the oftechnology,the productivitypromoting development．Withdevelopment one clustersizeis sizeofsomeclustershasexceededthousand becomingincreasinglylarge．The all directionto nodes．Insucha cluster hasbecome research large—scaleenvironment，it important theclusterresourcesandschedule effectivelymanage