h-tree一种面向大数据流在线监测的层次索引 h-tree hierarchy index for online monitoring of big data streams.pdfVIP

第38卷第1期 计 算 机 学 报 V01．38No．1 2015年1月 CHINESE OFCoMPUTERS Jan．2015 JOURNAL H_Tree：一种面向大数据流在线监测的层次索引 臧文羽。’ 李 军¨。’ 方滨兴”矗h孙 谭建龙2’ l’(中国科学院计算技术研究所信息安全研究中心北京100190) 2’(中国科学院信息工程研究所信息内容安全技术国家工程实验室北京100093) 3’(北京邮电大学计算机学院北京100876) 摘要随着计算机网络的迅猛发展和大数据时代的到来，数据越来越频繁地呈现出多属性异构的特点．这种包 Data 含多种不同类型属性的大数据流称为异构大数据流(HeterogeneousBig Streams)。在面向大规模数据在线监 测分析的应用中，通常需要在异构大数据流上注册大规模监测规则．因此，对于每一个数据流元组，必须用最小的 计算开销满足所有的规则．同时，由于大数据流上监测规则集异常庞大，提高规则监测的性能是大规模数据流在线 监测的关键．基于此，该文提出一种层次化的索引结构H_Tree及其在线规则匹配算法，具体的，H_Tree将大数据 流上的属性集划分为离散型属性和连续型属性．基于不同的属性集，构建两层索引结构：在第1层，通过改进的红 黑树对离散型谓词构建触发索引；在第2层，通过量化连续型谓词构建多维索引结构．H_Tree的在线规则匹配算 法利用关联关系表对两层索引的监测结果进行融合过滤．实验分析表明，与经典的R+方法相比较，HTree通过层 次化的索引结构，在不降低准确度的前提下。显著提升了大数据流的监测效率． 关键词 异构大数据流；监测规则；索引 中图法分类号TP309DOI号10．3724／SP．J．1016．201l，00035 Indexforonline of DataStreams H二Tree：Hierarchy MonitoringBig ZANGWen-Yul’2’LIJunl’3’FANG TAN Bin—Xin91’’2’3’ Jian-Lon92’ 100190) 1’(Res∞”^＆以据ro，h，Dr搠坦IionSef批r打y，hjm”teo，com户“￡f扎g了■娩舢zogy，锄i挖8jPA∞dPmyD／Scienfes，＆玎ing 21(N口￡如般￡ginePri再gL460旭to叫如，k，or懈￡i仰co扛￡e艴tSFc王‘，i姆，工拉耵i￡扯￡eo，j”如r砌￡io箍鼢酊珊gr趣g· C^i雄gsf 100093) A∞de研yo，SfiP竹ces，BE—i竹g 100876) 3’(Sc^ooz SfiP行ce，Be巧i以gUnf御rs缸yo，Pos拈口nd丁|ze∞m优“雄ic口ffo砣s，BF玎i以g o，CD7，l户“ter AbstractWiththeevolutionof networkandthe of dataera，datastream computer coming