低内存占用的分布式top-k监测算法.pdfVIP

2015年 3月 计算机工程与设计 M ar．2015 第36卷 第 3期 COMPUTER ENGINEERING AND DESIGN V0L36 No．3 低内存 占用的分布式top—k监测算法 冯大伟 ，孙瑞志 ，曹振丽 (1．农业部农业信息获取技术重点实验室，北京 100083； 2．中国农业大学 烟台研究院，山东烟台264670) 摘 要 ：为提高大数据背景下面向数据流的分布式 top-k监测的实时性和可用性，对监测多个数据流的分布式系统处理数 据的过程进行研究，提 出一种低 内存 占用的分布式top-k监测算法。通过使用有限的内存空间对原本杂乱分布于各节点的 关键数据进行重新调整，对数据处理过程 中可能遇到的各种情形进行分类，依照调整结果和分类结果指定相应的处理流 程 ，使很大一部分数据更新操作可以不依靠网络通信，或仅依靠少量网络通信来完成，有效减少监测过程中的网络通信 量，在保证监测实时性的前提下提高系统的可用性。实验结果表明，该算法是有效可行的。 关键词：top-k；在线监测；低 内存；数据流；分布式；大数据 中图法分类号：TP311 文献标识号 ：A 文章编号：1000—7024 (2015)03—0658—06 doi：10．16208／j．issnl000—7024．2015．03．019 Memory-savingalgorithm fordistributedtop—kmonitoring FENG Da-wei，SUN Rui—zhi ，CA0 Zhen-li， (1．KeyLaboratoryofAgriculturalInformationAcquisitionTechnology，MinistryofAgriculture，Beijing100083，China； 2．YantaiAcademy，ChinaAgricultureUniversity，Yantai264670，China) Abstract：Toimprovereal-timeperformancesandavailabilityofdistributedtop-kmonitoringoverbigdata，amemory-savingal— gorithm wasproposedbasedontheanalysisofdataprocessingprocedureofdistributed systemsthatmonitoredmultipledata streams．Givenlimitedmemory，thedistributionofcriticaldatawasadjustedwhichwaschaoticallydistributedamongallthe nodes．Allthepossiblecircumstancesduringdataprocessingwereclassified．W iththeseresults，appropriatemethodswerespe- cified，whichmadeitpossibletoprocesslargepartofdatawithlimitedorevennonetworktransfer．Networktrafficcostwasre— ducedduringmonitoringandtheavailabilitywasimprovedeveninreal-timemonitoring．Theproposedalgorithm isdemonstrated byexperimentalresults． Keywords：top-k；onlinemonitoring；memory-saving；datastream；distributed；bigdata top-k监测算法，它利用更多的本地计算来尽量避免监测过 0 引 言 程中的网络通信 ，从