数据流中频繁项掘算法的研究.pdf

张珊：数据流中频繁项挖掘算法的研究 摘 要 随着信息技术的快速发展，流数据在很多领域的广泛应用呈现在我们面前， 对流数据的研究也成为目前国际数据库研究领域的一个热点。与传统的静态数 据不同，流数据是一个具有时间标记的有序的数据集，其特点是连续的、无限 的，通常以很高的速度到来，并且数据分布随着时间而改变。因此传统的对数 据进行挖掘的算法已经难以适用到流数据上。许多研究人员对数据流中频繁项 挖掘进行了研究，目前，在数据流中挖掘频繁项已经成为数据挖掘研究领域的 重要研究方向。 本文针对流数据特点，研究数据流中对频繁项进行挖掘的高效算法。我们 分析了当前国内外在流数据上的频繁项挖掘的各种算法，针对存在的问题，提 出了一些更为有效的算法。本论文的主要工作如下： 1．现有的大多数数据流频繁项挖掘算法并没有能强调当前数据的重要性。 为此，我们采用衰减系数的方法，给出强调近期数据而弱化“旧’’数据重要性 的时间衰减模型。我们提出了利用时间衰减模型来检测数据流的占一近似频繁项 挖掘的FE算法。算法的存储空间复杂度为ob一)，时间复杂度为0(矿1}，其召回 率和精确度远大于同类算法，我们实验证明，该算法比其他类似方法有较高的 正确率，较快的处理速度以及较少的内存需求。 2．我们采用衰减系数的方法，另提出了利用哈希表和堆来对数据流中的频 繁项进行占一近似挖掘的FHH算法，该算法利用一个哈希表和一个堆记录流数据 们的实验证明，该算法具有较高的精度，在时间和空间复杂度方面也优于其它 类似的算法。 3．滑动窗口是一种对最近一段时间内的数据进行挖掘的有效技术。因此， 我们提出了一种基于滑动窗口的流数据频繁项挖掘的SW算法。算法采用了链表 队列策略大大简化了算法，提高了挖掘的效率。对于给定的阂值S、误差占和窗 口长度n，算法可以检测在滑动窗口内频度超过Sn的数据流频繁项，且使误差在 日l以内。算法对每个数据项的处理时间为0(s。1)，对一个数据项的查询时间为 张珊：数据流中频繁项挖掘算法的研究 的实验证明，本文算法比其它类似算法具有更好的精度以及时间和空间效率。 关键词： 数据挖掘；数据流：频繁项；衰减系数；哈希表；堆。 张珊：数据流中频繁项挖掘算法的研究 Abstract Inrecent the ofinformation years，withrapiddevelopment dataare on data becomesa fields．Therefore，stream widelyappliedmany mining research intheareaofdata thetraditionalstatic hotspot mining．Unlike data， dataisanorderedsetofdatawithtime are streaming stamps．Theycontinuous， ata the distribution unlimited，and stream，data arrivingveryhighspeed．In changes overthe data cannotbe time．Therefore，traditionalminingalg