5挖掘频繁模式、关联和相关.pptVIP

FP树挖掘——构建条件FP树 对每个条件模式基 为基中的每一项累积计数 为模式基中的频繁项构建FP树 m-条件模式基: fca:2, fcab:1 {} f:3 c:3 a:3 m-条件FP-树 所有关于m的频繁模式： m, fm, cm, am, fcm, fam, cam, fcam ? ? {}null f:4 c:1 b:1 p:1 b:1 c:3 a:3 b:1 m:2 p:2 m:1 项头表 Item frequency head f 4 c 4 a 3 b 3 m 3 p 3 多层关联规则 (1) 数据项中经常会形成概念分层 底层的数据项，其支持度往往也较低 这意味着挖掘底层数据项之间的关联规则必须定义不同的支持度 All Computer accessory software laptop financial mouse color printer computer desktop IBM edu. Microsoft b/w HP Sony wrist pad Logitech TID Items T1 {IBM D/C, Sony b/w} T2 {Ms. edu. Sw., Ms. fin. Sw.} T3 {Logi. mouse, Ergoway wrist pad} T4 {IBM D/C, Ms. Fin. Sw.} T5 {IBM D/C} Ergoway 多层关联规则 (2) 在适当的等级挖掘出来的数据项间的关联规则可能是非常有用的 通常，事务数据库中的数据也是根据维和概念分层来进行储存的 这为从事务数据库中挖掘不同层次的关联规则提供了可能。 在多个抽象层挖掘关联规则，并在不同的抽象层进行转化，是数据挖掘系统应该提供的能力 挖掘多层关联规则的方法 通常，多层关联规则的挖掘还是使用置信度－支持度框架，可以采用自顶向下策略 请注意：概念分层中，一个节点的支持度肯定不小于该节点的任何子节点的支持度 由概念层1开始向下，到较低的更特定的概念层，对每个概念层的频繁项计算累加计数 每一层的关联规则挖掘可以使用Apriori等多种方法 例如： 先找高层的关联规则：computer - printer [20%, 60%] 再找较低层的关联规则：laptop - color printer [10%, 50%] 多层关联——一致支持度 一致支持度：对所有层都使用一致的最小支持度 优点：搜索时容易采用优化策略，即一个项如果不满足最小支持度，它的所有子项都可以不用搜索 缺点：最小支持度值设置困难 太高：将丢掉出现在较低抽象层中有意义的关联规则 太低：会在较高层产生太多的无兴趣的规则 多层关联——递减支持度 使用递减支持度，可以解决使用一致支持度时在最小支持度值上设定的困难 递减支持度：在较低层使用递减的最小支持度 每一层都有自己的一个独立的最小支持度 抽象层越低，对应的最小支持度越小 Computer [support=10%] Laptop [support=6%] Desktop [support=4%] min_sup = 5% min_sup = 5% min_sup = 3% 多层关联——基于分组的支持度 用户和专家清楚哪些分组比其他分组更加重要，在挖掘多层关联规则时，使用用户指定的基于项或者基于分组的最小支持度阈值 E.g. 对laptop_computer或者flash_drives设置特别低的支持度阈值，以便特别关注这类商品的管理模式 检查冗余的多层关联规则 挖掘多层关联规则时，由于项间的“祖先”关系，有些发现的规则将是冗余的 例如： desktop computer = b/w printer [sup=8%, con=70%] (1) IBM desktop computer = b/w printer [sup=2%, con=72%] (2) 上例中，我们说第一个规则是第二个规则的“祖先” 如果规则(2)中的项用它在概念分层中的“祖先”代替，能得到(1)，而且(1)的支持度和置信度都接近“期望”值，则(1)是冗余的。 多维关联规则——概念 单维关联规则： buys(X, “milk”) ＝ buys(X, “bread”) 多维关联规则：涉及两个或多个维或谓词的关联规则 维间关联规则：不包含重复的谓词 age(X,”19-25”) ∧occupation(X,“student”) = buys(X,“coke”) 混合维关联规则：包含某些谓词的多次出现 age(X,”19-25”) ∧buys(X, “popcorn”) = buys(X, “coke”) 在多维关联规则挖掘中，我们搜索的不是频繁项集，而是频繁谓词集。k-谓词集是包含k个合取谓词的集合。 例如：{age,