空间站巡天大数据演示系统原型工作初步设想 - 国家天文台.pptxVIP

空间站巡天大数据演示系统原型工作初步设想 被告人：黄茂海 国家天文台2016-11-9 空间站巡天大数据演示系统工作初步设想 国家天文台 1 任务来源 国家重点研发计划“科学大数据管理系统(面向特定领域的大数据管理系统)”项目 牵头单位：中国科学院计算机网络信息中心 子课题5 “系统集成与应用示范” 天文领域（合作单位中科院国家天文台） 2016-11-9 空间站巡天大数据演示系统工作初步设想 国家天文台 2 项目任务书相关内容 主要内容 建立流水型光学多波段巡天数据的处理过程，突破PB级天文图像数据高效处理的关键技术。通过大数据集成服务平台构建海量天文数据库，实现针对典型天文数据查询的优化。 拟解决关键问题 建立流水型光学多波段巡天数据的处理过程，突破PB级天文图像数据高效处理的关键技术。通过大数据集成服务平台构建海量天文数据库，实现针对典型天文数据查询的优化。 考核指标 本课题将研制完成集成管理系统、流水线管理系统、自动化部署与配置工具、运维监控与安全管理工具等。同时在天文领域示范领域，构建海量天文数据库完成天文数据查询与优化。 2016-11-9 空间站巡天大数据演示系统工作初步设想 国家天文台 3 工作内容思路 建立一个空间站巡天数据处理分析原型小系统 包括模拟天空/图像 原型流水线 一定任务编排仿真 运行在在集群计算机或云架构上 以揭示此类巡天天文大数据的特点、处理特性、性能需求和未来可能存在的问题等， 2016-11-9 空间站巡天大数据演示系统工作初步设想 国家天文台 4 模拟天空/图像 两个主要模拟观测数据方式 模拟天空（星系模型、分布模型…）+ 模拟观测（光学系统模型、探测器模型、任务运行模型） = 模拟观测数据 直接使用其它望远镜现有的档案图像 天空覆盖指标 中期达到1%任务天空面积 完成时达到5%任务天空面积 空间站巡天面积： 深度成像巡天的天区面积≥20000平方度，其中河外≥15000平方度（连续分布），河内≥5000平方度 无缝光谱巡天的河外天区面积≥10000平方度（连续分布、在深度成像巡天的天区范围内） 全周期5PB原始数据、1.7P像素 2016-11-9 空间站巡天大数据演示系统工作初步设想 国家天文台 5 流水线处理 包括定标和参数提取 Overscan 改正、探测器的本底场、暗场、电荷转移效率、探测器电子学的增益、读出噪声、光学系统（与巡天相机总体）的平场、pixel to pixel 的平场改正、super flat 平场改正、绝对流量定标、无缝光谱仪的分光效率与波长定标等。（见《处理需求分析》） 实现基线功能 优化性能 全周期数据再处理耗时指标 中期使用仿真天空和原型流水线处理达到1个月完成测试目标天空处理 完成时达到1个星期 2016-11-9 空间站巡天大数据演示系统工作初步设想 国家天文台 6 模拟天空图像下一步工作 原则： 完成课题目标， 配合载荷论证， 揭示此类巡天天文大数据的特点、处理特性、性能需求和未来可能存在的问题等 工作内容和路线图 2016-11-9 空间站巡天大数据演示系统工作初步设想 国家天文台 7