戴健丁治明-计算机学报.PDF

第37 卷 计 算 机 学 报 Vol. 37 2014 论文在线出版号No.16 CHINESE JOURNAL OF COMPUTERS Online Publishing No.16 基于 MapReduce 快速 kNN Join 方法 戴健1),2) 丁治明2) 《 2) 1)( 中国科学院大学 北京 100049) ( 中国科学院软件研究所 基础软件国家工程研究中心, 北京 100190) 计 摘 要 kNN 连接是空间数据库领域一个基本而又重要的问题，被广泛地应用于多个其他领域。它对于提高众多实际应用 的性能有着重要意义。随着目前参加kNN 连接的数据集的增大和要求的响应时间的缩短（尤其在一些应急环境中），我们实 际上对kNN 连接的效率要求更高。然而，目前的方法大多基于单个进程或者单台机器，并不具有很好的伸缩性。为了解决这 算 个问题，我们引入了map-reduce 框架来运行kNN join 并提出了两种新的方法：基于map-reduce 的分布式网格概略化kNN join(DSGMP-J)和基于map-reduce 的voronoi diagram 下kNN join(VDMP-J)。并把它们和最新的方法H-BNLJ 进行了实验对 机 比。实验结果证明了我们提出的DSGMP-J 和VDMP-J 方法具有较优的伸缩性。 学 关键词 kNN 连接；大数据；MapReduce 中图法分类号 TP311 报 》 MapReduce Based Fast kNN Join 1),2) 提2) DAI Jian DING Zhing-Ming 1 (University of Chinese Academy of Sciences, Beijing, 100049) 2 前 (National Fundamental Software Research Center, Institute of Software, Chinese Academy of Science, Beijing 100190) 在 Abstract kNN Join is a basic and important operation which is widely used in many fields. Hence, it plays a significant role in improving the efficiency of the applications in those fields. Nowadays, with the rapid increase 线 of data size and the requirement for shorter response time (especially in some emergency environments), people actually ask for a more efficient way to conduct kNN Join. However, conventional kNN join operation is mostly