海量高维向量并行Top-k连接查询.PDFVIP

第37 卷 计算机学报 Vol. 37 2014 论文在线出版号No.23 CHINESE JOURNAL OF COMPUTERS Online Publishing No.23 海量高维向量的并行Top-k 连接查询 1),2) 1) 1) 马友忠 , 慈祥 , 孟小峰 1)( 中国人民大学信息学院，北京 100872) 《 2)(洛阳师范学院信息技术学院，洛阳河南471022) 摘要 在很多应用领域中，向量的Top-k 连接查询是一种很重要的操作，给定两个向量集合R 和S，Top-k 连接查询要求 从R 和S 中返回距离最小的前k 个向量对。由于数据的海量性和高维特性，传统的集中式算法已经无法在可接受的时间内完 计 成连接查询任务。MapReduce 作为一个并行处理框架，能够有效地处理大规模数据。由于其高可扩展性、高可用性等特点， MapReduce 已经成为海量数据处理的首选实现方案，在很多领域都得到了广泛的应用。本文基于分段累积近似法对高维向量 算 进行降维，然后利用符号累积近似法对高维向量进行分组；在此基础上，结合MapReduce 框架，提出了基于SAX 的并行Top-k 连接查询算法，实验表明，本文所提方案具有良好的性能和扩展性。 机 关键词 高维向量；MapReduce 框架；Top-k 连接查询 中图法分类号 TP311.1 学 报 Parallel Top-k Join on Massive High-Dimensional Vectors MA You-Zhong, CI Xiang, MENG Xiao-Feng 1) 》 (School of Information, Renmin University of China, Beijing 100872) 2) 提 (School of Information and Technology, Luoyang Normal University, LuoyangHenan 471022) 前 Abstract Top-k joins on high -dimensional vectors are very important operations in many applications. Given two vector sets R and S, a Top-k join returns k closest pairs of vectors. The traditional centralized algorithms cannot deal with the large scale high-dimensional vectors in an efficient way.MapReduce, as a parallel processing 在 framework, can deal with large scale data set. It has been widely used in many applications because of its high availability and high scalability. In this paper we adopt Piecewise Aggregate Approximation technique