唐帝鑫中科院计算所.PPT

* * * * * * * * BMJoin: 一种基于HIVE系统的高效交叉证认方法 唐帝鑫 中科院计算所,分布式与云计算小组 2012年11月30号 概要 天文学中的交叉证认 Hadoop及HIVE简介 现有基于HIVE系统的JOIN方法 BMJOIN:基于HIVE系统的JOIN方法 测试结果 总结 天文学中的交叉证认 交叉证认 按照位置属性,将不同星表中的天体记录联系起来,在相同位置的或在一定位置误差范围内的天体,被证认为是同一天体. 基于HTM索引的天区划分 天球被划分成多个大小相等的分区, 每个分区被赋于一个编号,即HTMID; 在交叉证认时, 在星表的HTMID上做连接, 并计算在同一分区内两两星球间的距离,输出两个星表上被认为是同一星球的记录. 天文学中的交叉证认 交叉证认示例 假设有两个星表L和R,如下表所示 对表L和表R进行交叉证认的SQL语句为 天文学中的交叉证认 问题的提出 针对于天文学中的交叉证认操作, 我们将其抽象为两个大表的Join操作(也就是两个大表的连接操作) 可行方案选择 传统数据库? 传统数据库经过多年的发展已日趋成熟, 但是由于物理世界数据量呈爆炸性增长(比如天文巡天数据), 传统数据库由于其扩展性的限制, 它已无法应对如此大量的数据. 并行数据库? 高效的并行数据库多半是商用数据库, 运行在中, 高端的服务器上,