科学数据网格与.pptVIP

科学数据网格与China-VO 中科院计算机网络信息中心 许海燕 xhy@cnic.ac.cn 提纲 China-VO 网格 China-VO与网格的结合 —— 科学数据网格（SDG） IT专业人员与学科领域专家的合作 China-VO 天文数据的特点 China-VO的主要任务 China-VO的关键技术问题 天文数据的特点 海量 开放 分布 在线 异构 China-VO的主要任务 天文数据融合 天文数据交互 多波段数据处理 VO-enabled LAMOST China-VO的关键技术问题 －硬件 海量数据的存储和处理 －存储资源：大型天文数据库 －计算资源：超级计算机 －网络资源：高速网络 China-VO的关键技术问题 －软件 海量数据的存储与处理 －元数据标准 －资源的注册与发现 －统一访问 网 格 网格的优势 能实现数据资源、计算资源、存储资源等各种资源的全面共享 相关学科领域 天文 气候 高能物理 生物 医学 China-VO与网格的结合— 科学数据网格（SDG） VO与网格的关系 VO是网格技术最好的实验床 网格是VO的最佳技术支柱 —— 两者相辅相成 China-VO与网格的结合 —— SDG SDG概述 SDG资源/系统平台 SDG系统平台软件 进展情况 SDG概述（1） －目标 以科学数据库（SDB）数据资源为基础 联接中科院40多个研究所 实现分布式异构数据资源的有效共享 开发对科学研究有直接实用意义的应用系统 SDG概述（2） －主要研究内容 SDG基础设施 SDG系统平台软件 SDG的示范应用系统－VO 科学研究领域的网格应用框架 SDG概述（3）－体系结构 SDG资源/系统平台（1） 科学 数据资源 －科学数据库（SDB） 网格应用支撑环境 －一个数据中心结点、三个数据分中 心结点、若干数据应用结点 SDG资源（2） －科学数据库（SDB） 分布式 分布在全国的40多个建库单位 异构 不同时期采用不同技术建设的300多个专业子库 大规模 10TB SDG资源（3） －网格应用支撑环境 一个数据中心结点、三个数据分中心结点、若干数据应用结点 数据资源： 10TB以上的科学数据 存储资源： 15TB以上的网络存储能力 计算资源： 1千亿/100亿（数据中心/数据分中心）次以上的计算能力 SDG系统平台软件 系统平台中间件/SDG中间件 系统平台工具集 网格门户 SDG系统平台软件结构图 SDG中间件 信息服务子系统 数据访问子系统 安全体系 SDG中间件 －信息服务子系统 SDG中间件 －数据访问子系统 SDG中间件 －安全体系 SDG系统平台工具集 通用元数据管理工具 数据量统计服务 通用数据管理工具 数据目录管理工具 证书管理系统 访问控制工具包 图像数据处理工具/服务 存储资源共享服务 进展情况 进展情况 SDG Testbed / Access Grid SDG系统平台软件 －中间件 －工具集 通用元数据管理工具2.0版 数据量统计服务1.0版 访问控制工具包1.0版 证书管理系统1.0版 图像数据处理服务与工具1.0版 VO IT人员与科学领域专家的合作 合作 －天文 合作 －其它学科 China-VO的许多技术难题同样也出现在高能物理、医学、生物学和地球科学等学科领域。这些难题的解决迫切需要IT专业人员的参与。与此同时，网格的发展与各学科领域专家的支持也是密切相关的。 谢 谢！ * * Application GAPI DRB UAI Local DBMS MDS GSI 多个数据资源的协同访问 单个数据资源的统一访问接口 本地的数据管理系统，包括各种关系型数据库、文件系统等异构系统 面向应用系统的统一编程接口 应用系统 数据库 安全体系 通用数据管理工具 数据目录管理工具 访问控制工具包 信 息 服 务 子 系 统 数据访问子系统 证书管理 工具 数据量统计分析工具 系统平台中间件 应用服务与工具集 其他 元数据 标准 通用元数据管理工具 实现天文数据资源元数据目录服务 对网格中的数据资源提供统一的信息服务 天文数据资源和服务的注册与发现 实现资源的描述与发现等功能 China-VO的需求 SDG信息服务子系统 实现对海量、分布式、多波段天文数据的统一访问 为分布式异构数据资源提供统一的访问接口 China-VO的需求 SDG数据访问子系统 各天文数据库的 本地访问控制 访问控制 VO用户的身份认证 身份认证（协议） 统计VO用户对资源的访问情况 审计 China-VO的需求 SDG安全体系 天文学家与IT