DMStar组-基于Apriori、FP-Growth及Eclat算法频繁模式挖掘project答辩.pptVIP

* * * * * 谢谢大家！ * 基于Apriori、FP-Growth及Eclat算法的频繁模式挖掘 DMStar 小组 杨 柳 杨华峰 宋旋婷 任智红 梁志溢 贺冠文 主要内容 Apriori算法 FP-Growth算法 Eclat算法 2 3 4 频繁模式挖掘实现概述 1 算法对比评价 6 2 频繁模式挖掘实现概述 实现了Apriori、FP-Growth及Eclat三种频繁模式挖掘算法 对Mushroom、Accidents、 T10I4D100K 三个数据集做频繁模式挖掘实验，设定不同的阈值，对比不同算法挖掘频繁模式的时间 Apriori算法描述 Apriori 算法特点 1、k-1项集连接规律：若有两个k-1项集，每个项集保证有序，如果两个k-1项集的前k-2个项相同，而最后一个项不同，则证明它们是可连接的，可连接生成k项集。 2、反单调性。如果一个项集是频繁的，那么它的所有子集都是频繁的。即若一个项集的子集不是频繁项集，则该项集肯定也不是频繁项集。 Apriori算法流程 1. 扫描数据库，生成候选1项集和频繁1项集。 2. 从2项集开始循环，由频繁k-1项集生成频繁频繁k项集。 ??? ????2.1? 频繁k-1项集两两组合，判定是否可以连接，若能则连接生成k项集。 ?? ? 2.2? 对k项集中的每个项集检测其子集是否频繁，舍弃掉子集不是频繁项集即 不在频繁k-1项集中的项集。 ?? ? 2.3? 扫描数据库，计算2.3步中过滤后的k项集的支持度，舍弃掉支持度小于阈值的项集，生成频繁k项集。 3.? 若当前k项集中只有一个项集时循环结束。 Apriori主要函数说明 MapSetString, Integer genNextKItem(MapSetString, Integer preMap) 由频繁K-1项集生成频繁K项集 boolean isNeedCut(MapSetString, Integer preMap, SetString set) 由于单调性，必须保证k项集的所有k-1项子集都是频繁的，否则就该剪切该k项集 ListSetString getSubSets(SetString set) 获取k项集set的所有k-1项子集 private MapSetString, Integer assertFP( MapSetString, Integer allKItem)遍历事物数据库，求支持度，确保为频繁项集 boolean isCanLink(String[] strA1, String[] strA2) 检测两个频繁K项集是否可以连接，连接条件是只有最后一个项不同 MapString, Integer findFP1Items(ListSetString dataTrans) 生成频繁1项集 * Apriori算法挖掘结果 硬件环境：Intel Core 2 Duo CPU T5750 2GHZ, 2G内存 实验结果 F:/DataMiningSample/FPmining/Mushroom.dat threshold: 0.25 共用时：54015ms 共有5545项频繁模式 F:/DataMiningSample/FPmining/Mushroom.dat threshold: 0.2 共用时：991610ms 共有53663项频繁模式 F:/DataMiningSample/FPmining/Mushroom.dat threshold: 0.15 结论：对Mushroom.dat挖掘出来的频繁模式及支持度、频繁模式总数正 确，但是算法速度很慢，对大数据量如T10I4D100K低阈值挖掘时间太长 解决办法：改用C++写FP-Growth算法做频繁模式挖掘！ Sec. 18.2 FP-Growth算法 FP-Growth算法流程 Step1 读取数据库，构造频繁1项集及FP-tree Step2 遍历FP-tree的头表，对于每个频繁项x，累积项x的所有前缀路径形成x的条件模式库CPB FP-Growth算法 Step3 对CPB上每一条路径的节点更新计数为x的计数，根据CPB构造条件FP-tree Step4 从条件FP-tree中找到所有长路径，对该路径上的节点找出所有组合方式，然后合并计数 Step5 将Step4中的频繁项集与x合并，得到包含x的频繁项集 Step2-5 循环，直到遍历头表中的所有项 FP-Growth算法 FP-Growth算法的实现 由于时间紧迫，基于芬兰教授Bart Goethals的开源代码实现