天文中的数据挖掘技术.ppt

(一)应用举例: ? 两种情形密度估计: 星系在红移空间的聚类 恒星在色空间的聚类 ? EM算法提供了星系在红移空间 的平滑分布,准确地描述了数据 库中数据的大小范围特征,同时, 提供了一种证认多维色空间中 的远离正常恒星的天体的方法, 例如:高红移类星体的证认 (二) 特点和优点: ? 利用AIC BIC 变坏的概率评价符合程度 ? 优于最好的带核的密度估计方法对分布的 估计,同时,对输入参数的要求并不严格 ? 优于标准的色选择技巧, 在于其证认天体是 建立在概率理论基础上 ? 概率密度分布要受到维数的限制, 而EM算 法的维数可具方便而定 ? 其描述了数据的正常分布, 从而可以在高维 空间中证认出远离者 (一): 应用举例: ? 分析有关大尺度结构和微波背景 辐射的大尺度巡天 ? 分析巡天的径向速度, 如:Mark III SFI ENEAR 巡天 (二): 特点和优点: 基础: 最大概率分析方法估计参数 维纳滤波器重建基底场 蒙特卡罗方法对基底场取样 辅助方法: 拟合良好性分析方法 将重建速度场分解成局部量和 外延量的方法 约束N-body和氢动力学的模拟 提供优化工具, 可以分析有噪声的, 不完 备的,不均匀的高斯分布的随机 场巡天, 如: 密度场和速度场 混合模型/Latent Variable models -- 主要思想是基于数据的提取或分类 -- 概率模型考虑系统方法 * 许多模型可以用图表格式表示 * 参数可由EM算法获得 * 模型结构可自动选择 -- 在机器学习/神经网络学习中, 对这些 模型进行了许多特大的调整 -- 隐含变量的学习?发现结构 (一): 分类问题(1): 天体分类: 恒星/星系分类,类星体等 方法类型: 监督分类和非监督分类 常用方法: 主分量分析(PCA) 最小距离方法(MDM) 高斯概率模型(GPM) 神经网(NN) 决策树 (一): 分类问题(2): 图像分类: 数字底片巡天中恒星/星系区别 常用方法: 聚类算法 最近邻规则 模糊集合理论 自组织映射 神经网络 决策树 流行软件包: DAOPhot,FOCAS,Sextractor (二): 数据压缩与分类: 光谱压缩与分类: 大红移巡天的星系光谱 大型光谱巡天 常用方法: 主分量分析(PCA) 独立分量分析(ICA) 信息瓶颈(IB) Fisher Matrix(FM) 小波变换 KL变换 方法对比: PCA FM 线性分析 ICA IB非线性分析 异于FM, PCA IB 模型独立 IB监督