改进的多数据流协同频繁项集挖掘算法.docVIP

改进的多数据流协同频繁项集挖掘算法 　　摘要：针对已有的多数据流协同频繁项集挖掘算法存在内存占用率高以及发现频繁项集效率低的问题，提出了改进的多数据流协同频繁项集挖掘（MCMDStream）算法。首先，该算法利用单遍扫描数据库的字节序列滑动窗口挖掘算法发现数据流中的潜在频繁项集和频繁项集；其次，构建类似频繁模式树（FPTree）的压缩频繁模式树（CPTree）存储已发现的潜在频繁项集和频繁项集，同时更新CPTree树中每个节点生成的对数倾斜时间表中的频繁项计数；最后，通过汇总分析得出在多条数据流中多次出现的且有价值的频繁项集，即协同频繁项集。相比AStream和HStream算法，MCMDStream算法不仅能够提高多数据流中协同频繁项集挖掘的效率，并且还降低了内存空间的使用率。实验结果表明MCMDStream算法能够有效地应用于多数据流的协同频繁项集挖掘。 　　关键词： 　　流数据挖掘；多数据流；滑动窗口；频繁项集；协同频繁项集 　　中图分类号： TP301.6 文献标志码：A 　　0引言 　　随着万维网技术的迅速发展，复杂多样的数据呈现爆炸式增长。数据流作为一种特殊形态的数据已在众多领域中广泛地应用，例如网络实时监控的数据[1]、传感器采集的数据[2]和金融市场的证券交易信息等。相对于传统静态数据而言，流数据具有实时、连续、大量、不确定和随时间变化的特点，因此，在不断变化的流数据上进行频繁项集挖掘更具有挑战性。 　　近年来，流数据频繁项集挖掘[3]成为研究的热点问题。1998年，Henzinger等[4]首次将流数据作为一种数据模型提出来。根据处理数据流时所采用的时序范围，将数据流模型划分为3个范畴：界标模型、快照模型和滑动窗口模型。以界标模型为基础，Manku等[5]提出了一种近似数据流频繁项集挖掘（Lossy Counting）算法，该算法能够有损耗地计算整个数据流中元素出现的近似频率，但因其效率不高、动态性不强；Yu等[6]提出了以假消极结果为导向在有限内存中挖掘数据流中频繁项集的流数据频繁模式挖掘（Frequent Data Stream Pattern Mining， FDPM）算法，但是Lossy Counting和FDPM算法只能得到近似的结果，因此，从流数据中获得当前准确频繁项集的科研成果随之涌现。Mozafari等[7]将滑动窗口引入数据流的传送中，并提出了一种新的技术概念Vertification，以此为基础设计了根据滑动窗口的大小调节性能和扩展性的滑动窗口增量挖掘（Sliding Window Incremental Miner， SWIM）算法。Leung等[8]构造了一种能够精确地挖掘数据流中频繁项集的新型树形索引结构（Data Stream Tree，请补充DSTree的英文全称。 DSTree）。以上算法只针对单数据流频繁项集的挖掘，但是结合当前的诸多应用，需要解决在多数据流环境[9-10]中频繁项集挖掘的问题，因此，Guo等[11]提出了HStream算法，目的是发现多数据流中的频繁项集问题。该算法以FPGrowth算法[12]为基础挖掘单条数据流中的频繁项集并将其频数存储于节点的自然倾斜时间窗口表中，通过汇总挖掘在多条数据流中多次出现的频繁项集。在此过程中需要多遍扫描数据库以及生成大量不必要的单位时间窗口，从而导致发现频繁项集时既耗时又浪费内存占用空间。 　　针对上述HStream算法低效、内存利用率不高的问题，本文提出了一种基于滑动窗口的多数据流协同频繁项集挖掘（Mining Collaborative Frequent Itemsets in Multiple Data Stream， MCMDStream）算法。该算法首先通过基于字节序列的滑动窗口挖掘（Ming Frequent Itemsets within a TimeInterval Sliding Window based on based on bitsequence， TISWMFI）算法发现数据流中的潜在频繁项集和频繁项集；然后构建CPTree用来存储多数据流中的频繁项集和潜在频繁项集，同时更新树节点中对数倾斜时间表中项集对应的频数；最后汇总分析得出多数据流中的协同频繁项集。与HStream算法中HTree的自然倾斜时间窗口表相比，MCMDStream算法中新引入的对数倾斜时间窗口表能够增量更新CPTree；同时还能够大量地减少节点总数，从而降低了算法的维护代价与空间复杂度；本文新引入的TISWMFI算法相比HStream中的FPGrowth而言，能够减少对数据库的遍历次数以及查询时间，因此，MCMDStream算法具有更强的适应性和扩展性。 　　1相关描述与问题定义 　　设S={S1，S2