网格计算－Grid Computing 肖侬网格技术 Read.pptVIP

第二部分 网格技术和系统 网格技术（续） 如果把整个因特网看成一台计算机，那么它的处理器、存储器、外部设备是什么？ 它应该采用什么样的体系结构？ 网格技术（续） 什么是网格这台计算机的操作系统？ 它的进程和线程是什么？ 什么是它的地址空间？ 如何管理它的资源？ 网格技术（续） 什么是网格的编程环境和使用环境？ 什么是网格的用户界面？什么是网格的程序设计语言？ 什么是网格的应用？它们有什么样的模式和特征？ 结构 网格多层体系结构 核心服务对应着一些关键技术 详细构成 网格技术 网格的核心服务层技术 资源管理 监控 数据存储和分布管理 安全 自适应技术和机制 服务的管理 自治计算等 网格技术 网格的编程和开发环境技术 网格程序设计语言 工作流 网格开发环境 基于构件的开发集成环境 网格Portal技术 网格web门户 Portal 第四章 网格的资源管理技术 第一节 集群资源管理技术 内容 传统局部资源管理技术 单机系统－OS 集群Cluster资源管理技术 网格资源管理 问题 DRM GT3 Condor-g 集群资源管理系统 Resource management System（RMS） 将应用分布在多台机器上执行，以便获取最大吞吐率的管理 能够有效而充分地开发可用资源 一个软件系统 资源管理器 定位和分配计算资源，认证、进程创建和迁移 资源调度器 应用任务排队，任务调度 资源管理系统目的 有效的管理资源，提高资源的利用率 屏蔽底层资源的异构性和复杂性 管理多个机器协同工作，实现负载平衡 支持多种应用使用方式，有效管理多个用户的各种任务 按照管理员的意愿可以控制资源的使用方式 提供容错能力 管理对资源的访问 操作系统的资源管理技术 任务的管理 CPU管理 内存管理 I/O管理 设备管理 进程的管理和调度 用户管理等 集群资源管理实现方式 两种方式 分布式操作系统 集中控制 破坏原有的OS 单个OS上建立资源管理和调度中间件√ 集群资源管理实现方式（续） 单个OS上建立资源管理和调度中间件 不破坏原有的OS和应用 便于资源的控制和计划 实现较言之简单 一个透明易于使用和理解的方式提供资源 提供独立于厂商的独立用户接口 机群管理软件 编译 依赖底层硬件特征 安装 需要操作系统和通信 协议支持 执行 需要相应编译器和并行软件包支持 作业管理系统结构 RMS Components RMS的接口环境 用户接口：命令行和图形化接口 任务的发送 任务状态查询 任务的删除等 管理环境：命令行和图形化接口 定义HOST的机器特性 定义可行的任务类和合适此任务类的机器 定义用户的访问权限 为用户和任务定义资源限制条件 根据负载或优先级别等定义任务分配的策略 控制和确保RMS系统操作 分析记账信息 集群资源管理对象 任务 一个或多个交互的程序：利用OS的功能 批处理任务 交互式任务 并行任务 Check－pointing任务 主机 服务结点： 资源管理结点：管理网络、调度、配置等 计算结点：执行任务 发送和控制结点：传递任务到资源管理器中 资源 任务执行需要资源：CPU、Memory、I/O设备、通讯等 集群资源管理对象（续） 队列 根据属性和资源要求 优先级别 执行、等待、挂起等 策略 计算环境的高级自动控制机制 多种策略 集群资源管理对象（续） 没有策略的系统 应用很少达到优化的性能，多机环境下负载不平衡是经常现象，不是特例 重要或紧急的任务常常被耽误或饿死 一个用户可能长期占有的资源超过所需 多种策略 基于共享的策略 资源利用的权限公平分配：多组织和用户，统计 共同建立的集群 功能策略 按照功能分配资源，也定义资源使用权利， 不同：更加灵活，不考虑过去的使用情况 Deadline策略 完成时间限制的任务 分配一定的资源给deadline任务，另一部分给其它任务 集群资源管理对象（续） 多种策略 手工干预策略 管理员人工干预任务执行和资源分配 和自动策略共存 调度策略 根据属性和特性分配任务和资源：FIFS、Select-least-loaded，Select-fixed-Sequence, Priority,混合等 多种策略的结合使用 集群资源管理系统体系结构 系统基本结构是C/S结构 同步 异步 单向 系统内部典型功能分布结构 数据库的管理、调度、任务执行，信息收集 各个功能组件的通讯（TCP/IP） RMS系统结构主要模块 Master：资源管理和调度中心 维持主机信息，配置的队列，负载的情况、用户的访问权限、任务的管理、资源的配置、策略等 接受用户任务的请求和状态查询 Scheduler：调度任务 根据资源状态的信息，采用各种方式和算法调度应用任务 独立于master，便于各种调度算法和调度方式实现基