mapreduce框架下k-支配轮廓查询处理.docVIP

MapReduce框架下k-支配轮廓查询处理 余靖1,刘盼盼1* (1．燕山大学 信息科学与工程学院，河北 秦皇岛 066004) 摘要：随着维度和数据量的不断增长，已有的轮廓查询方法已无法为用户提供更好的查询支持。本文采用并行处理框架MapReduce结合k-支配轮廓查询算法来解决此类查询问题。在对输入的数据集进行预排序的基础上，提出了基于MapReduce的单轮扫描算法和双轮扫描算法，通过在不同维度、数据分布、节点个数等方面的实验测试及对比，验证了算法的有效性。 关键词：轮廓；k-支配轮廓查询；MapReduce 中图分类号：TCP311.13  0 引言 轮廓(Skyline)[1]查询在多目标决策、数据可视化等领域有着广泛的研究，是数据库领域和信息检索领域研究的热点。随着维度的不断增大，Skyline点越来越多，已有的低维Skyline查询算法已不能为用户提供更好的决策支持，因此，Chan[2]等人提出k-支配Skyline查询概念，即：如果点p在k个维度上值都小于等于q点的维度值，并且在某一维度上p点的值小于q点，这样的点组成的集合为k-支配结果集。所提出三种算法分别是：单轮扫描算法(One-Scan Algorithm OSA)、双轮扫描算法(Two-Scan Algorithm TSA)、排序扫描算法(Sorted Retrieval Algorithm SR