流数据频繁模式挖掘算法汇总.docxVIP

频繁模式挖掘 常用的概念： 事务数据库： 时间ID： 项集(item set)： 重要算法： Apriori 主要思想就是从大小1开始遍历可能频繁集k，当满足V所有集合子集都在之前计算过的频繁集k中，且出现次数满足频繁要求，则V为k+1频繁集 这样做有如下好处：如果一个集合是频繁集，那么它的所有子集都是频繁集；如果一个集合不是频繁集，那么它的所有超集都不会是频繁集 缺点就是要多次扫描事务数据库 FP-growth 可以用来识别包含某个元素的最大频繁集。 FP-growth算法通过构造FP-tree来实现，FP-tree由频繁项集表和前缀树构成。 FP-tree的构建需要扫描两遍数据库， （1）第一遍对所有元素技术并降序排序，然后将数据库中每个事务里的元素按照这个顺序重新排序 （2）按照项头表的顺序逐渐插入元素 ······ · · （3）FP-tree的挖掘 得到了FP树和项头表以及节点链表，我们首先要从项头表的底部项依次向上挖掘。对于项头表对应于FP树的每一项，我们要找到它的条件模式基。所谓条件模式基是以我们要挖掘的节点作为叶子节点所对应的FP子树。得到这个FP子树，我们将子树中每个节点的的计数设置为叶子节点的计数，并删除计数低于支持度的节点。从这个条件模式基，我们就可以递归挖掘得到频繁项集了。 （1）先从F挖掘 通过它，我们很容易得到F的频繁2项集为{A:2,F:2}, {C:2,F:2}, {E:2,F:2}, {B:2,F:2}。递归合并二项集，得到频繁三项集为{A:2,C:2,F:2}，{A:2,E:2,F:2},...还有一些频繁三项集，就不写了。当然一直递归下去，最大的频繁项集为频繁5项集，为{A:2,C:2,E:2,B:2,F:2}  （2）继续挖掘D 因为它有两个叶子节点，因此首先得到的FP子树如下图左。我们接着将所有的祖先节点计数设置为叶子节点的计数，即变成{A:2, C:2,E:1 G:1,D:1, D:1}此时E节点和G节点由于在条件模式基里面的支持度低于阈值，被我们删除，最终在去除低支持度节点并不包括叶子节点后D的条件模式基为{A:2, C:2}。通过它，我们很容易得到D的频繁2项集为{A:2,D:2}, {C:2,D:2}。递归合并二项集，得到频繁三项集为{A:2,C:2,D:2}。D对应的最大的频繁项集为频繁3项集。 Lossycounting 我们定义两个参数，一个是支持度阈值s，一个是允许错误范围参数（）。如果我们想要找出出现频率超过0.1%的元素，则s=0.1%。我们要找到出现次数超过s*m的元素。算法返回的结果里面允许一定的错误，但是允许的范围是ε*m，也就是说结果中不会出现次数少于(s-ε)*m的元素。 算法的大致过程很简单，描述如下：将整个数据流切分成多个窗口。 对于第一个窗口，先统计每个元素及其出现次数，处理结束后，每个元素的出现次数都减一。 然后继续处理后面的窗口。每处理完一个窗口对保存的所有元素的出现次数都减一。 算法输出最终计数超过(s-ε)*m的元素。 如果整个流的长度为m，窗口大小w=1/ε。这样任意元素元素统计的最大误差是εm Moment Moment算法用来挖掘频繁闭项，通过维护CET(Closed Enumeration Tree)来实现。 CET中有4种节点： 当进入一个新的事务时，对上面四种节点进行更新：  当一个事务从windows中离开时 FP-stream FP-stream的时间窗是不均匀的时间窗 FP-stream算法用到的数据结构： FP-stream 算法成批地处理流中的事务，具体步骤如下。 算法对第 1 批事务1B 的处理与此后其余批事务有所不同。当第 1 批事务B1 到达后，计算所有项目在1B 中出现的频率，并生成一个按出现频率逆序排序的列表 f_list。在此后的挖掘过程中将依照 f_list 的顺序对每个事务中的项目进行排序，但 f_list 保持不变。然后，扫描第 1 批事务B1 ，删除所有频度低于ε·sup(B) 的项，对每个事务按照 f_list 的顺序排序，创建 FP-tree。接着利用 FP-growth 算法挖掘出所有频繁项集，并创建 FP-stream 结构。 此后，对每批事务Bi的处理方式相同，步骤如下：初始化一个空的FP-tree，将每个事务按 f_list 排序后，插入 FP-tree；然后利用修改的 FP-growth算法挖掘所有频繁项集。 具体地说，对挖掘到的每个项集 I ，检查 I 是否在 FP-stream 结构中。如果 I在 FP-stream 结构中，把 supI(B)添加到 I 的倾斜时间窗表格中，并对其进行裁减。如果裁减后表格为空，将不再挖掘 I 的超集，从 FP-stream 结构中删除项集 I