博士研究生开题报告大规模集群系统的计算资源与作业管理.ppt

博士研究生开题报告 大规模集群系统的计算资源与作业管理 王韬 wangtao@ 北京大学信息科学技术学院·网络研究所并行与分布式计算组 提纲 第一部分：面临着的挑战 第二部分：解决问题的若干思路 第三部分：研究重点的确立 第四部分：博士论文工作计划 第一部分：面临着的挑战 第一部分：面临着的挑战 大规模集群中的计算资源与作业管理 问题着手前的一些零散思考 第二部分：解决问题的若干思路 第三部分：研究重点的确立 第四部分：博士论文工作计划 集群系统，计算资源与作业管理 集群系统－日益重要的高性能计算环境 集群系统：网络技术连接起来的计算机组合，协同工作 人们对计算资源的需求远远超过单处理器的发展 具有最高性价比的高性能计算环境 重要的领域－计算资源与作业管理 人们可以制造峰值计算能力每秒几十万亿次的集群系统 人们不知道应当如何充分利用这些计算能力 不仅仅单个并行程序无法有效利用集群系统，多个程序（作业）同时运行时也很难充分利用集群系统资源 性能－搭建集群系统的首要目的：使我们关注“计算资源与作业管理”领域的研究 本研究的对象：大规模集群 面向环境 大规模集群系统 可能的扩展：网格计算 面临着的问题 大规模环境，节点数目众多，连接复杂 组成系统的各个节点计算能力可能不同 可能有物理上的多层次拓扑 系统需求：功能与性能 最终要能够充分地利用系统的计算能力 问题着手前的一些零散思考[1] 集中式管理 设立一个管理节点，对所有节点进行集中式管理 管理节点具有全部系统信息，易于进行调度 整个系统实现起来最简单 可采用多管理节点相互备份功能，提高效率 问题一：大规模系统中的单节点瓶颈 所有资源管理工作由单一节点完成，这个节点负担大，且其它节点需等待此节点的处理结果 所有信息集中在单一节点，当此节点失效时，系统重新产生管理节点的代价大 问题二：大规模系统中的信息滞后 通过网络通信，无法及时获取所有节点的资源信息 资源管理信息产生后，很难及时通知到所有相关节点 问题着手前的一些零散思考[2] 完全分布式管理 每个节点都含有其它节点的信息 减轻了大规模系统中的单节点瓶颈问题 注意，在信息获取后，每节点对所有节点信息的整合工作所需工作量与集中式相同，但每节点只需产生自己的调度信息，且不必将此信息传递给其它节点 未解决大规模系统中的信息滞后问题 引发新的问题 网络中消息数目过多 获取信息时，集中式算法中只需要N-1条（对）消息，而完全分布式算法需要N*(N-1)条消息，或者N-1条广播 当系统规模变大时，由于所得其它节点的信息可能滞后，各节点进行分布式资源管理所需协调工作更加复杂 问题着手前的一些零散思考[3] 跨网络管理 大规模集群系统中的一部分可能处于一个内部子网 外界只能访问子网内连接到外部网络的节点 解决方法 将子网内连接到外部网络的节点作为“代理”，系统管理“代理”，“代理”管理内网 于是，如何有效地将这种“代理”纳入到整体模型中就成为一个与性能相关的问题 问题着手前的一些零散思考[4] 信息的获取与处理 系统需要什么样的信息，才能够有效地进行下一步的资源与作业管理工作 信息越丰富，越有助于资源管理的精确性 信息越丰富，各节点负担越大、通过网络传输的数据量越大、资源管理的所需算法越复杂 各节点的存在信息与资源信息 定时检测：心跳 处理器、内存、网络…… 物理资源信息和可用资源信息 处理节点的动态加入与退出 第二部分：解决问题的若干思路 第一部分：面临着的挑战 第二部分：解决问题的若干思路 直观想法：分层次进行资源管理 理论方面的三大问题 综合考虑：猜想中的信息团模型 第三部分：研究重点的确立 第四部分：博士论文工作计划 直观想法：分层次进行资源管理 思想根源 一台计算机的资源管理，应该对离它越近的计算机影响越大，因此可以将相隔近的计算机组成小系统，小系统之间再管理 在不同网络的两个计算机系统之间的影响应当较小 试图解决在大规模集群系统中的若干问题 单节点瓶颈 管理消息过多、管理复杂 信息滞后、跨网络管理 对于资源的分层次管理思想 系统的层次化分解与组合 根据性能及网络情况，将系统分为若干子系统 每个子系统内部进行管理，再将子系统作为整体进行管理 可以根据需要，进行子系统分解与组合 对层次化管理思想的分析 它只是一个指导思想：“层次化的管理原则” 人类的经验表明，层次化的管理原则是正确的 关键在于，如何将这个思想原则，对应成实际的模型与系统 层次化管理思想的两个方面 理论与实现 理论方面：这种分层次进行资源管理相关的资源、作业模型是什么、如何交互（管理模型） 实现方面：如何在大规模的实际集群系统上高效实现分层次进行资源管理 实现方面需要理论方面进行指导 理论方面需要实现方面作为表现 极大的挑战性 世界上尚未出现令人信服的模型 世