天文学中的数据挖掘-2014科学数据大会.pdf

天文学中的数据挖掘 张彦霞 国家天文台 2014.2.24 概要  必要性  概念  技术  问题  展望 天文学、天体物理学、天文统计学、天文学信息学  天文学是研究宇宙空间天体、宇宙的结构和发展的学科。内容包括天 体的构造、性质和运行规律等。主要通过观测天体发射到地球的辐射 ，发现并测量它们的位置、探索它们的运动规律、研究它们的物理性 质、化学组成、内部结构、能量来源及其演化规律。天文学是一门古 老的科学，自有人类文明史以来，天文学就有重要的地位。  天体物理学是研究宇宙的物理学，这包括星体的物理性质（光度、密 度、温度、化学成分等等）和星体与星体彼此之间的相互作用。应用 物理理论与方法，天文物理学探讨恒星结构、恒星演化、太阳系的起 源和许多跟宇宙学相关的问题。  天文统计学是用统计学的知识来解决天文问题.  天文信息学是用信息技术来解决天文学所面临的各种大数据问题. 大数据- 巨信息量-全波段天文时代 Astronomy facing “data avalanche” Necessity Is the Mother of Invention DMKDD IRAS 25m 2MASS 2m DSS Optical NVSS 20cm ROSAT ~keV WENSS 92cm IRAS 100m GB 6cm 大型巡天导致天文学步入 一个新的时代  大多数数据大的人们无法看  这就需要存储技术、网络技术、数据库相关技术和标准等  许多知识被数据的复杂性所掩盖而难以获得  大多(不是所有的)经验关系是建立在3维参数空间基础上的，如椭 圆和核球星系的基平面。宇宙就是这么简单还是人类认知的偏见 ？  大部分数据人们是无法直接理解的  这就需要数据挖掘、知识发现、数据理解技术、超高维可视化、 人工智能/机器帮助的发现 数据挖掘是帮助和加速科学发现过程的利器 ● 大数据 ● 机器学习 ● 可视化 ● 云服务 Credit：Tony Hey 天文数据的特点  空间性  多波段性  海量性  非线性  异构性  缺值性或坏标记  分布性  高维性  时序性  开放性 海量数据  NVO (IVOA) 注册的数据资源有~14,000  一些大型的天文数据库包括NASA 空间天文项目  已经完成或正在进行的大型天文巡天项目，如:  MACHO 和相关的暗物质巡天: ~ 1 TB  DPOSS: 3 TB  2MASS: 10 TB  GALEX: 30 TB  SDSS: 40 TB  将来的巨型巡天项目，如:  PanSTARRS:每晚10 TB ，,预计最终40 PB  SKA ：2020 年中期运行，每天约0.5-10PB  LSST (Large Synoptic Survey Telescope):