tkep海量数据上一种有效的top-k查询处理算法 tkep an efficient top-k query processing algorithm on massive data.pdfVIP

第33卷第8期 计 算 机 学 报 v01．33No．8 2010年8月 CHINESE OFCoMPUTERS JOURNAL Aug．2010 韩希先” 杨东华孙 李建中” 1’(哈尔滨工业大学计算机科学与技术学院 哈尔滨 150001) 2’(哈尔滨工业大学基础与交叉科学研究院高性能计算中心哈尔滨150001) 摘要在许多应用领域中，top-k杳询是一种十分重要的操作，它根据给定的评分函数在潜在的巨大的数据空间 中返回^个最重要的对象．不同于传统的TA算法，NRA算法只需要顺序读就可以处理top-k查询，从『『Ii适合于随 机读受限或不可能的场合．文中详细地分析了NRA算法的执行行为，确定了增长阶段和收缩阶段中每个文件需要 扫描的元组个数．文中发现在海量数据环境中，NRA在增长阶段需要维护大量的候选元组，严重影响了算法的执 行效率．所以，文中提出一种新的海量数据卜．的top—k查询算法TKEP，该算法在查询的增长阶段就执行早剪切，从 而大大减少增长阶段需要维护的候选元组．文中给出了早剪切操作的数学分析，确定了早剪切操作的理论和实际 剪切效果．据作者所知，该文是第一篇提出在top—k查询的增长阶段执行早剪切的文章．实验结果表明，和传统的 NRA相比，TKEP在增长阶段维护的元组数晕减少3个数量级，需要的内存量减少1个数量级，TKEP算法获得1 个数量级的加速比． 关键词海量数据；top-k；早剪切；TKEP 中图法分类号TP311 DOI号：10．3724／SP．J．1016．2010．01405 Efficient on Data TKEP：An Top-K Massive QueryProcessingAlgorithm HANXi—Xianl’ YANG Dong-Hua∞LIJian—Zhon91’ Scienceand Institute ”(Schoolof ofTechnology，Harbin150001) Computer Technology，Harbin Fundamentaland 2’(Center，0rHighPerformanceComputing，TheAcademyof InterdisciplinarySciences， Harbin Institute 150001) ofTechnology，Harbin AbstractIn an it im— is sincereturnskmost manyapplicationfields，top—kimportantoperation toa function．DifferentfromtraditionalTA portant accordinggiven objects ranking