FitHAS，FITS头分析入库系统-ChineseVirtualObservatory.pptVIP

* * * * * * * * FitHAS导入效率 总结 FitHAS有效解决China-VO所面临的从海量数据中构造元数据层的难题 FitHAS是实现天文e-Science协同环境的第一步 下一步工作 年底FitHAS 2.0正式发布 FitHAS 2.0开发 Grid Service接口 命令行接口 完整性检验 文档压缩 致谢 FitHAS 1.2是由天津大学和国家天文台共同完成开发 FitHAS 2.0是在1.2基础上的进一步开发 谢谢！ * * * * * * * * * * * * * * * * * * * * * * * * * * * FitHAS: FITS头分析入库系统 于建军 中科院网络中心 yujj@cnic.cn 主要内容 背景 FitHAS体系结构 下一步工作 总结 背景 虚拟天文台环境 海量天文数据的存储和访问 e-Science/网格技术 虚拟天文台（Virtual Observatory） 定义： 利用先进的信息技术将各种天文研究资源以统一的服务模式无缝透明地汇集到一起，形成一个统一的数据密集型的网络化天文研究与科普教育平台 虚拟天文台吸收了网格等先进技术，将集成海量天文资源，提供丰富的服务 核心问题是数据处理 海量天文数据是向天文学家和社会各界提供天文数据服务的重要基础 需要在VO环境下有效地组织数据资源，挖掘海量数据的潜力，从而使这宝贵的资源能为国内外的天文学家乃至社会各界所更好地使用，真正发挥其巨大的作用 海量天文数据 目前： 国际上公开的天文数据已经达到上百TB量级 一些观测项目的数据日产出数量甚至以十亿甚至十万亿的量级来计算 未来： 将达到PB量级 传统的数据存储和管理的方式已很难满足海量天文数据的存储和访问要求 天文数据处理 在虚拟天文台环境下 如何对海量数据进行有效存储成为一个亟待解决的问题 如何对海量数据进行快速有效的访问，也是关系到虚拟天文台服务能力的重要课题 e-Science技术 定义 e-Science is about global collaboration in key areas of science, and the next generation of infrastructure that will enable it.” By 英国e-Science倡导者 John Taylor, 2001 为什么要引入e-Science技术 解决现代科学研究的巨大挑战 科学研究问题空前复杂化 科学研究对象不是简单孤立系统，而是涵盖更大的范围，跨学科 科研信息、数据的实时获取与处理，仿真与大规模计算成为分析、发现和预测的主要手段 科学家之间密切的合作与交流 e-Science的意义 使得全球性的、跨学科的、大规模科研合作，跨越时间、空间、物理障碍的资源共享与协同工作成为可能 将改变科学家们从事科研活动的方法和模式，极大地促进交流合作，推动科学研究的发展 科研信息化是整个社会信息化的前卫，是下一代互联网络技术及信息基础设施在科研领域的率先应用 网格技术 网格技术的最终目标： 把整个互联网整合成一台巨大的超级计算机 实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享 为用户提供一步到位的服务 e-Science的核心就是网格技术 e-Science发展为VO提供技术支持 VO的最终目的： 实现全球天文数据的高级共享 提供一整套的智能化工具 TB量级甚至PB量级大型天文数据产出项目的不断涌现 VO的技术需求： 对数据存储、管理、传输、检索等技术提出了更高的要求 在海量分布式数据的基础上进行科学研究,就必须有全新的数据共享、互操作、作业调度、可视化、统计分析、数据挖掘、安全管理等模型。 VO的这些需求正是e-Science要实现的目标！！！ VO是e-Science的试验床 天文数据有着其他学科数据所无法比拟的特点： 天文数据绝大部分是开放数据 天文数据很少有商业价值 不存在保密问题，数据和结果可自由共享，非常适合国际性的联合研究与试验 天文数据是海量的数据 例如美国正计划建造的“暗物质望远镜”，每天观测数据高达18TB 天文数据是真实而归档完好的数据，并提供在线访问服务 天文数据是高度复杂的数据 对数据处理、数据挖掘、可视化等研究提出了挑战。 VO要实现对海量天文数据的融合 从e-Science网格基础设施的构建，到中间件的开发，最后到e-Science天文应用工具的实现，VO为e-Science提供了一整套的应用需求 天文数据现状 天文数据 包括星表、图像、光谱 天文方面的文献和观测日志 这些数据一般以文件或数据库形式保存 天文数据文件格式 有普通文本文件、FITS、VOTable 目前很多观测数据以FITS文件保