天文学中的数据挖掘.ppt

天文学中的数据挖掘张彦霞国家天文台贵阳LAMOST

概要必要性概念技巧问题展望文献LAMOST

海量数据NVO(IVOA)注册的数据资源有~14,000一些大型的天文数据库包括NASA空间天文工程已经完成或正在进行的大型天文巡天工程，如:MACHO和相关的暗物质巡天:~1TBDPOSS:3TB2MASS:10TBGALEX:30TBSDSS:40TB将来的巨型巡天工程，如:PanSTARRS:每晚10TB,预计最终40PBLSST(LargeSynopticSurveyTelescope):2021开始运行,with3-Gigapixelcamera每30秒10GB每晚30TB，持续十年预计最终的图像数据100PB–所有数据公开!!!预计最终的星表数据30PB实时事件挖掘:每晚事件10,000-100,000个,持续十年每三晚巡全天一次:制作天体的电影LAMOST

天文学:数据驱动的科学

天文学：是发现驱动的科学

?驱动发现的因素:–新问题–新的思想–新模型–新理论–更重要的是新数据!

天文学：是发现驱动的科学?发现导致:–新的问题–新思想–新模型–新理论–更重要的是...更多的新数据!?因此，需要更有效的挖掘和分析算法或工具

天文学家一直在从事数据挖掘

“Thedataaremine,andyoucan’thavethem!〞?严格意义上讲...?天文学家喜欢对事物进行分类...(监督学习.如,分类)?天文学家喜欢对事物归类...(非监督学习.如,聚类)?天文学家更希望发现新的天体或现象...(半监督学习.如,离群探测)

天文中的数据挖掘课题压缩(如.图像和光谱)分类(如.恒星,星系,或伽马射线暴)重建(如.星系模糊图像的重建,弱引力透镜质量分布的重建)特征抽取(如.恒星、星系和类星体的重要特征)参数估计(如.恒星参数估计,测光红移预测,太阳系外行星的轨道参数,或宇宙参数)模型选择(如.一颗恒星有几颗行星绕转？)OferLahav,2006,astro-ph/0610703Summaryonthe4thmeetingon“StatisticalChallengeinModernAstronomy〞heldatPennStateUniversityinJune2006

过去:100到1000个独立的分布的异构数据/元数据/信息库.目前:天文数据可以从融合的分布资源中获得，如虚拟天文台.将来:随着大型巡天工程的开展，天文学在未来将越来越成为数据密集型的科学.挑战:越来越难于将数据传输到用户…算法移植到数据!天文学研究的转变

数据驱动到数据密集天文学一直以来就是数据驱动的科学现在成为数据密集型的科学:天文信息学〔Astroinformatics〕!面向数据的天文学研究=“第四范式〞科学知识发现大数据集的优点:很好地统计分析典型或特殊事件自动搜寻稀有事件ScientificKnowledge!第四范式:数据密集型的科学发现

定义数据挖掘：从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

巨量价值EDPMISDSS知识发现的优点产生快速响应发布EDP:电子数据加工MIS:管理信息系统DSS:决策支持系统

数据挖掘—知识发现(KDD)过程的核心数据清洁数据融合数据库数据仓库知识特定任务的数据选择数据挖掘模式评估数据挖掘：知识发现的过程

数据挖掘数据库系统统计学其它学科信息科学机器学习人工智能可视化数据挖掘：多学科的交叉学科

KDD:机遇和挑战数据丰富知识贫乏竞争的压力KDD

人工神经网络支持矢量机决策树遗传算法近邻算法规那么推导粗糙集

数据总结分类分析聚类分析回归分析关联规那么分析序列模式分析依赖关系分析偏差分析模式分析或统计分析时序数据分析其它数据挖掘的任务

分类分析定义按照某种规那么，新的数据被划分到类别中的一类。这个规那么是通过具有标签的数据进行监督学习获得的。应用恒星分成不同的光谱型，星系按哈勃或形态分类，活动星系核进一步细分，等等方法神经网络决策树Na?veBaye