H-Tree一种面向大数据流在线监测的层次索引.pdfVIP

第 38卷 第 1期 计 算 机 学 报 Vol_38 No．1 2015年 1月 CHINESEJOURNALoFCOMPUTERS Jan．2015 H-Tree：一种面向大数据流在线监测的层次索引 臧文羽” 李 军” 方滨兴”。’谭建龙幻 ”(中国科学院计算技术研究所信息安全研究中心 北京 100190) z(中国科学院信息工程研究所信息内容安全技术国家工程实验室 北京 100093) 。’(北京邮电大学计算机学院 北京 100876) 摘 要 随着计算机网络的迅猛发展和大数据时代 的到来 ，数据越来越频繁地呈现 出多属性异构的特点．这种包 含多种不同类型属性的大数据流称为异构大数据流 (HeterogeneousBigDataStreams)．在面向大规模数据在线监 测分析的应用中，通常需要在异构大数据流上注册大规模监测规则．因此 ，对于每一个数据流元组，必须用最小的 计算开销满足所有的规则．同时，由于大数据流上监测规则集异常庞大，提高规则监测的性能是大规模数据流在线 监测的关键．基于此 ，该文提出一种层次化的索引结构 H-Tree及其在线规则匹配算法．具体 的，H-Tree将大数据 流上的属性集划分为离散型属性和连续型属性．基于不同的属性集，构建两层索引结构：在第 1层，通过改进的红 黑树对离散型谓词构建触发索引；在第 2层 ，通过量化连续型谓词构建多维索引结构．H—Tree的在线规则匹配算 法利用关联关系表对两层索引的监测结果进行融合过滤．实验分析表 明，与经典的R 方法相 比较 ，H-Tree通过层 次化的索引结构，在不降低准确度的前提下 ，显著提升了大数据流的监测效率． 关键词 异构大数据流 ；监测规则；索引 中图法分类号 TP309 DOI号 10．3724／SP．J．1016．201羲00035 H-Tree：HierarchyIndexforOnlineMonitoringofBigDataStreams ZANGWen—Yu ，。 LIJun ’。 FANG Bin-Xing 。·，。 TAN Jian—Long ”(ResearchCenterofInformationSecurity，InstituteofComputingTechnology，ChineseAcademyofSciences，Beijing 1OO19O) 。’(NationalEngineeringLaboratoryforhformationContentSecurity，InstituteofInformationEngineering， ChineseAcademyofSciences，Beijing 100093) ”(SchoolofComputerScience，BeijingUniversityofPostsandTelecommunications，Beijing 100876) Abstract W ith theevolutionofcomputernetwork andthecomingofbig dataera，datastream presentsnew charactersofmultipleattributesand heterogeneous．W enamethe streamsthat containmultipleattributesHeterogeneousBigDataStreams．In thebigdatestream orientedonline monitoringsystems，thereusuallyexistmanyfilteringqueriesthatspecifythefilteringobjec— tives．Thus，foreveryincomingtuple，itshouldsatisfiedallqueri