科学数据网格虚拟天文台进展.ppt

科学数据网格虚拟天文台进展 中科院计算机网络信息中心 罗 泽 2005年11月25日 提纲 中科院计算机网络信息中心介绍 项目背景 虚拟天文台工作进展 中科院计算机网络信息中心 中国科学院计算机网络信息中心（Computer Network Information Center， CNIC）是中国科学院下属的科研事业单位。主要从事中国科学院信息化建设、运行与支撑服务，以及计算机网络技术、数据库技术和科学工程计算的研究与开发。 中科院计算机网络信息中心是中国科学院“十五”信息化建设项目的牵头实施单位。 主要业务 中国科技网的建设、运行和管理 中国域名注册和地址分配服务 网上应用开发和信息服务 科学数据库资源建设和应用服务 超级计算应用与服务 国家网络科普基地 计算机网络技术、数据库技术、大规模科学与工程计算等前沿技术的跟踪和研究 办公室自动化和管理信息系统的建设、运行和技术支撑服务 背景 虚拟天文台的建立和实现需要网格技术的支持 虚拟天文台的最终发展目标就是实现全球天文数据的高级共享，同时提供一整套的智能化工具。TB量级甚至PB量级大型天文数据产出项目的不断涌现，对数据存储、数据管理、数据传输、数据检索等技术提出了更高的要求。在如此海量分布式数据的基础上进行科学研究，就必须有全新的数据共享、数据互操作、作业调度、数据可视化、数据统计分析、数据挖掘、数据安全管理等工具的支持。这些需求正是网格技术，特别是数据网格技术要实现的目标。 背景 虚拟天文台为网格技术提供最好的试验场 天文数据绝大部分是开放数据。国际上许多大型天文观测项目的观测数据都会及时在互联网上公布，这为数据共享提供了良好基础。 天文数据很少有商业价值。这意味着相互之间不存在保密性的问题，可以将数据和结果进行自由共享，非常适合国际性的联合研究与试验。 天文数据是海量的数据。例如美国正计划建造的“暗物质望远镜”，每天的观测数据高达18TB。这非常适合网格环境下海量数据处理和数据挖掘算法的研究。 天文数据是真实而归档完好的数据，并提供在线访问服务。 天文数据是高度复杂的数据。海量高度复杂的数据对数据处理、数据挖掘、可视化等研究提出了挑战。 背景 中科院国家天文台和中科院计算机网络信息中心携手合作，共同在863重大专项“高性能计算机及其核心软件”的应用网格“科学数据网格”中承担了虚拟天文台的研究和开发工作。 项目2002年10月立项，2005年11月结题 工作进展 天文数据的整理、发布，提供统一访问 CDS；2MASS；Hipparcos；Tycho；Other 天文软件封装，天文处理工具 Dss星图检索；GSC1.2星表查询；USNO星表查询；基本天文计算服务；VO服务自动封装系统；VOFilter等。 两个应用示例 银河系化学元数丰度梯度统计分析； 2MASS巡天星表搜寻OB星协研究银河系的旋臂结构 天文数据的整理、发布 CDS Proposed solution CDS chose to keep the astronomical catalogues as plain ascii files, and to store the description of the catalogue as a separate ascii file. This description file includes all the necessary information related to the catalogue: author(s), reference(s) of the related published papers, brief summary, scientific keys, caption and accurate description of each table of the catalogue. plain ascii files+ description file 天文数据的整理、发布 plain ascii files+ description file 不利于天文数据的使用 不易查询、搜索、过滤、联合等数据处理 解决方案：将表列数据整理到关系数据库中，利用关系数据库管理数据，利用关系数据库提供的API访问数据。 不利于天文应用的集成 没有提供一种统一的方式对数据进行处理，访问方式多样（下载，转换等），访问模式固化（执行固定的操作），不具备位置透明性，只实现简单共享。 解决方案：用Web服务方式封装数据库资源，通过Web服务PortType实现统一的数据访问和处理，提供高层的数据资源共享 CDS数据整理 由文本文件--〉关系数据库（MySql） 根据每个Catalogue中的ReadMe进行整理转换。 6180 Catalo