天文数据分析（三）-China-VOPaperDataRepository.PDF

天文数据分析（三） 国家天文台赵永恒 大数据分析方法 为什么挖掘数据？商业观点 • 大量数据的收集和存储 - 网络数据、电子商务数据 - 商店的销售额 银行 信用卡交易 - / • 计算机价格越来越便宜， 但功能越来越强大 • 竞争压力日益增加 - 提供更好的定制服务 为什么挖掘数据？科学观点  高速的数据收集和 存储（GB/小时） - 卫星遥感数据 - 望远镜巡天数据 - 微阵列产生的基因表达数据 - 科学数值模拟数据（TB ）  传统技术对数据处理已不可行  数据挖掘正好帮助科学家 - 对数据分类和分割 - 推理和假设 数据挖掘：动机  大量信息隐藏在数据中不易被发现  人们花时间能发现一些有用信息  大部分数据无人问津 数据究竟有多少? • Google: ~20-30 PB a day • Wayback Machine has ~4 PB + 100-200 TB/month • Facebook: ~3 PB of