第6章序列模式挖掘讲解.ppt

　　实验结果表明，SPADE算法的性能比GSP算法要高出2倍。 　　如果不考察产生2-序列的代价，极端情况下SPADE的性能将高出GSP一个数量级，理由是SPADE利用一个更加高效的基于id-list表结构的算法实现支持度计算。 　　而且SPADE算法利用格理论将原始搜索空间进行分解，除了为产生频繁1-序列和2-序列而扫描原始搜索空间外，其余的操作在每个序列的id-list表上独立执行，这样，在挖掘过程中，搜索空间逐渐变小。因此，SPADE对序列的数量呈现出线性可扩展性。 6.3 模式增长框架的序列挖掘算法 　　前面介绍的Apriori类算法的主要问题是产生大量候选集（例如，如果有100个频繁1-序列，产生候选2-序列个数为100×100+100×99/2，前者是形如ab的序列个数，其中a、b位置上均可以取100个项，后者是形如(ab)的序列个数，其中a、b不能重复出现，且(ab)和(ba)被认为是相同的）、多遍扫描数据库和大易挖掘长模式序列。 　　模式增长框架的算法基于分治的思想，迭代地将原始数据集进行划分，减少数据规模，不产生候选序列，同时在划分的过程中动态的挖掘序列模式，并将新发现的序列模式作为新的划分元。典型的代表有FreeSpan算法和PrefixSpan算法。 6.3.1 FreeSpan算法 　　FreeSpan（frequent pattern-projected sequential pattern mining，频繁模式投影的序列模式挖掘）算法是由Jiawei Han等于2000年提出的，它利用已产生的频繁集递归产生投影数据库，然后在投影数据库中增长子序列。 　　算法不仅可以挖掘所有序列模式，还减少了产生候选序列所需开销，提高算法效率。 FreeSpan算法执行的过程如下： 　　（1）对于给定的序列数据库S及最小支持度阈值min_sup，首先扫描S，找到S中所有频繁项的集合，并以降序排列生成频繁项表即f-list表，设f-list=（x1，x2，…，xn）。 　　（2）将S中所有的序列模式集合可以划分成n个互不重叠的子集，即根据生成的f-list表把序列数据库S分成几个不相交的子集即i投影数据库： 只包含项x1的序列模式集合。 包含项x2，但不包含（x3，…，xn）中项的序列模式集合。 包含项x3，但不包含（x4，…，xn）中项的序列模式集合。 …… 包含项xn-1，但不包含项xn的序列模式集合。 包含项xn的序列模式集合。 　　（3）在xi投影数据库中通过扫描找出频繁2-序列集合，对于其中的每个频繁2-序列，再次扫描xi投影数据库生成该频繁2-序列的投影数据库，从中找出频繁3-序列集合，…依此类推，直到某个投影数据库中找不到更长的序列为止。 　　【例6.11】给定如表6.16所示的序列数据库S，全局项集I={a，b，c，d，e，f，g}（本节中序列采用简写方式，如eg(af)cbc序列是{e}，{g}，{a，f}，{c}，{b}，{c}的简写形式，本节用小括号代替大括号表示，如果一个事件只有单个项，则省略括号）。假设最小支持度阈值min_sup为2。下面给出用FreeSpan算法求序列模式的过程。 {a，b，c，e，f，g} eg(af)cbc 40 {a，b，c，d，e，f} (ef)(ab)(df)cb 30 {a，b，c，d，e} (ad)c(bc)(ae) 20 {a，b，c，d，f} a(abc)(ac)d(cf) 10 序列的项集 序列 SID 　　第一次扫描序列数据库，找出所有的频繁项，并将这些频繁项按支持度递减排序构成一个频繁项表，即： 　　f-list= f-list=（a:4，b:4，c:4，d:3，e:3，f:3） 　　这样生成6个长度为1的频繁序列：a:4，b:4，c:4，d:3，e:3，f:3，其中“模式:计数”表示模式和它的支持度计数。 　　然后将序列数据库按α投影操作划分成6个互不重叠的子数据库。α投影数据库是由那些包含α且不包含任何非频繁项，也不包含在f-list表中居于α之后项的序列所组成的数据库。 　　例如，对于频繁项e，初始时e投影数据库为空，扫描序列数据库S，第1个序列中不含有e，不予考虑；第2个序列含有e，从中删除所有f项得到(ad)c(bc)(ae)，将其加入到e投影数据库中；第3个序列含有e，从中删除所有f项得到e(ab)dcb，将其加入到e投影数据库中；第4个序列含有e，从中删除所有f项和不频繁项g得到eacbc，将其加入到e投影数据库中。 得到的6个投影数据库及其序列如表6.17所示。 a(abc)(ac)d(cf) (ef)(ab)(df)cb e(af)cbc 包含f a(abc)(ac)c ac(bc)a (ab)cb acbc 包含c但不包含