教案网格及其应用的一些相关技术.pptVIP

网格及其应用的一些相关技术 高能所计算中心 于传松 2002.10.9 网格简介 LCG — 一个最接近实用化的网格 应用中的一些技术问题 介绍高能所的一些科研成果 网格简介 应用需求及发展史 网格体系结构 网格安全 网格信息系统 网格数据管理 网格工作流程 网格软件的发展 网络技术发展的三次浪潮 第一次浪潮：Internet的产生（80年代） 局域网的相互连接产生互联网 FTP、Telnet、Email newsgroup、BBS 第二次浪潮：WWW（80年代末- 90年代中期） 超文本文件由http协议连接 WWW的产生（1989年由CERN科学家发明） 第三次浪潮：Grid（90年代后半期-...） 各种资源统一通过网格技术连接 根据用途不同分为数据网格、计算网格... 为什么需要网格 大型科学研究 生物、生化研究（基因研究、新药研究） 地学研究（地震研究与预测） 大气物理与气象预报 高能物理理论与实验 提出的需求 计算密集型、I/O密集型、数据密集型计算的需求 需要使用位于远处的大型、位置固定的仪器设备 大型国际合作项目的需求 什么是网格 Argonne实验室的I. Foster认为网格是一种规模大小可变的虚拟组织：由动态合作的个体、研究单位和资源所有者之间的灵活的、安全的、协调的资源共享 虚拟组织的成员——分布在世界各地的，为了完成同一件事情的研究机构、大学、科学家个体… 资源——计算机、存储设备、网络、大型科学仪器、数据库、软件、信息… 用户的观点：希望使用网上资源像使用电力、自来水那样方便，不必关心是从哪里来的资源，也不必考虑用多用少，总能满足需求。 网格所需要实现的技术 通信：Internet功能 资源信息服务 资源管理和调度 网格安全：认证和授权 虚拟组织及用户管理 全局名字服务 网格文件系统 监视系统 记帐 用户图形界面 GRID的协议分层体系结构 网格工具包（Globus Toolkit） 资源信息及发现服务 资源管理 数据传输服务 网格安全体系 网格安全体系GSI Globus的标准：GSI — 基于PKI X.509 用户向安全认证中心CA申请证书 用户用证书向网格站点自己的VO注册 用户获得网格的授权后可以根据自己的角色使用网格的资源 长时间作业需要授权代理的支持 网格信息系统GIS 信息服务解决以下问题： 什么资源可资利用-资源发现。 资源的状态如何-资源的选择。 如何优化资源的使用-应用配置和应变。 Grid信息服务： 系统成分的静态和动态资源。 提供在异构、动态环境中配置和自适应的基础。 统一而灵活的信息访问，可扩展的、高效的动态数据的访问，多信息源的访问，分散的维护。 分级的信息服务结构 网格数据管理 基本的协议—Gridftp（安全、并行的 ftp） 对存储系统的接口是SRM（存储资源管理器） RLS（复制定位系统）跟踪文件的位置 文件移动、复制的基本工具RM（复制管理器） GFAL（网格文件访问库）提供透明的用户访问 工作流程 服务将资源和作业连接起来 用户申请作业 查询资源情况 将作业与资源（计算能力、存储空间、软件、库……）匹配，向调度提交作业 执行作业（计算） 跟踪作业的状态 假如失败，重新提交 返回结果 使用许多服务：GIS，RLS，GSI… 网格软件的发展 LCG — 一个最接近实用化的网格 LCG的总体规划 LCG站点 LHC计算需求 LCG站点的分布 参加LCG计算的有31个国家。 站点数达到95个。 总的CPU数达到9528个—世界上最大的计算机系统。 Grid组件 Grid组件 UI（用户接口） CE（计算单元） WNs（工作节点） SE（存储单元） RB（资源代理） MyProxy（证书代理） BDII（顶级网格信息服务） CA及VO 认证中心CA 基于PKI 由CA服务器和安全Web服务器组成 负责证书的颁发、签署和撤销 CA的策略发布 虚拟组织管理VOMS 用户注册到自己的VO，获得自己的组信息和角色信息 VOMS向用户授权，生成代理证书 工作流程图示 LCG软件的发展 应用中的一些技术问题（介绍高能所的一些科研成果） 基础设施中的问题与解决方法 网格文件系统 网格的用户界面 基础设施中的问题与解决方法 新一代计算环境—挑战与方案 超大型计算基础设施的系统结构 超大型计算基础设施的自动化管理 负载平衡与作业调度 新一代计算环境—挑战与方案 系统的稳定性 可管理性 高效性 服务质量保证 安全性 高效的存储系统 关键数据的备份 超大型计算基础设施的系统结构 自动化管理 超大规模计算中心面临的管理问题 管理的工作量 管理的有序性 管理的有效性 超大型计算基础设施管理系统ELFms 节点配置、安装、管理Quattor 系统/服务监