基于MapReduce的预处理高效Skyline算法.pdfVIP

第32卷第3期 计算机应用与软件 V()1．32 No．3 2015年3月 ComputerApplicationsandSoftware Mar．2015 基于MapReduce的预处理高效 Skyline算法 李文俊 张大方 李 玮 (湖南大学信息科学与工程学院 湖南 长沙410082) 摘 要 现有基于MapReduce的算法不能高效地解决大数据的Skyline查询14 。针对这种情况，提 出一种高效的预处理Skyline 查询算法MRFS(MapReducebasedFilterSkyline)，对大数据集进行预处理，提取支配能力较强的小点集组成比较点集，盘算法开始前 用比较点集对原始数据集进行过滤，排除掉一大部分不能成为Skyline结果集的数据对象；再对过滤后的数据集在 Map阶段并行计 算出局部Skyline集；最后合并到一个 Reduce任务，得到最终的Skyline结果集。在不同数据分布下对该算法进行系统实验，结果表 明算法比现有的算法在时间效率上提高了20％一30％。 关键词 MapReduce 大数据 Skyline 中图分类号 TP311 文献标识码 A DOI：10．3969／j．issn．1000-386x．2015．03．058 EFFICIENT PRE-PRoCESSED SKYLINE ALGoRITHM BASED oN MAPREDUCE LiWenjun ZhangDafang LiWei (CollegeofInformationScienceandEngineering，HunanUniversity，Changsha410082，Hunan，China) Abstract ExistingMapReduce—basedalgorithmscan notprocessSkylinequeryefficientlyon bigdata．In view ofthis，weproposean efficientpre—processedSkylinequeryalgorithmMRFS(MapReduce—basedfilterSkyline)．Itpre—processesbigdatasetsandextractssmall point—setswithstrongercontrolabilitiestoform comparisonpoint-set．BeforetheMRFScommence，thecomparisonpoint·setisusedtofilter therawdatasetstoeliminateagreatpartofdataobjectswhichcannotbecomeSkylineoutcomeset；Then，ofrthefiltereddatasets，partial Skylinesetswillbeparallellycalculatedin Map stage，and atlasttheyayemerged to aReducetasktogetfinal Skylineoutcomeset． Systematicexperimentswithdifferentdatadistributionareconducted，resultsdemonstratethatouralgorithm improvesthetimeefficiencyby 20％ t03O％ tllantheexistingalgorithms． Keywords MapReduce Bigdata Skyline 信等复杂细节处理，具有 良好的容错性和可扩展性 ，广泛应用于 0 引 言 处理大数据应用。目前基于 MapReduce的代表算法主要包括