云环境下的突发关键字查询算法.pdf

第 44卷 第 3期 计 算 机 科 学 VoI．44No．3 2017年 3月 COMPUTER SCIENCE Mar．2017 云环境下的突发关键字查询算法 郑诗敏 秦小麟 刘 亮 周 倩 (南京航空航天大学计算机科学与技术学院 南京211106) 摘 要 基于SparkStreaming计算框架下的分布式突发关键字查询是监测流数据中关键字突发时间的热点研究问 题。多数研究方法存储统计所有的关键字，并未考虑热点关键字。在数据呈爆炸式增长的背景下，获取热点关键字的 突发时间更具有价值。针对这个问题，提 出一种分布式突发关键字查询算法，该算法采用动态的更新策略，通过设置 检查点的方法提取热点关键字，并在线性的时间内查询突发的时间范围。实验结果表明，该算法的性能比现有算法更 优 。 关键词 云计算，突发关键字查询，流数据 ，SparkStreaming 中图法分类号 TP311 文献标识码 A DOI 10．11896／j．issn．1002—137X 2017．03．003 Algorithm forBurstyTermQueryinCloudComputing ZHENGShi-min Q Xiao-lin LIU Liang ZHOUQian (CollegeofComputerScienceandTechnology，NanjingUniversityofAeronauticsandAstronautics．Naming211106，China) Abstract Distributedburstyterm queryunderthefrma eworkofSparkStrema ingisahotresearchissue．Itaimstode— tectburstytermsindatastreams．Moststudiesofburstyterm querycountandsavealltermswithoutconsiderationof hotterms．Underthebackground0fexplodingni thedatascale，itmakesmoresensetogetburstytimeofhottemr s．To solvethisproblem，wepresentedadistributedburstyterm queryalgorithm．Thealgorithm usesdynma icupdatestrategy andacheckpointmechanism toextracthotterms．AlsoitfindstheburstytimerangeinlineartimeExperimentalresults show thattheproposedalgorithm hasbetterperformance． Keywords Cloudcomputing，Burstyterm query，Datastreams，SparkStrema ing 检索使之成为了热点关键字，同样用户更关心这些热门搜索。 1 引言 许多突发关键字查询算法存储统计所有监测到的关键字，并 随着互联网技术的快速发展和社交应用 的普及，网络给 未考虑热点关键字的问题，使用过多的存储空间，增加了建立 人们生活带来便利的同时，也使数据呈爆炸式增长。信息时 索引的开销，降低了处理效率。在海量数据的背景下，存储统 代的背景下，人们更关注数据中的价值，如何从海量数据中迅 计所有的关键字是不切实际且没有意义的。经典突发关键字 速获取有用的信息 ，是 目前大数据的主要问题之一。突发关 查询算法_3 以固定的时间