第5讲_关联规则挖掘.pptVIP

由关联分析到相关分析 我们需要一种度量事件间的相关性或者是依赖性的指标 当项集A的出现独立于项集B的出现时，P(A∪B)=P(A)P(B)，即corrA,B＝1，表明A与B无关， corrA,B 1表明A与B正相关， corrA,B 1表明A与B负相关 将相关性指标用于前面的例子，可以得出录像带和游戏将的相关性为： P({game, video})/(P({game})×P({video}))=0.4/(0.75×0.6)=0.89 结论：录像带和游戏之间存在负相关 基于约束的关联挖掘 如何对海量数据进行交互性的，解释性的挖掘？ 充分的利用各种约束条件 知识类型约束 数据约束 维/层约束 兴趣度约束 规则约束 指定要挖掘的规则形式，可以用元规则来表示，说明规则的前件和后件中谓词的最大和最小个数，或属性、属性值和/或聚集之间的联系 关联规则的元规则制导挖掘（1） 元规则使得用户可以说明他们感兴趣的规则的语法形式 例：在AllElectronics数据库中挖掘时使用一个元规则表达顾客的特点和他购买的商品之间的关联（具有哪两种特点的顾客会买educational software?） P1(X,Y)∧P2(X,W) = buys(X, educational software) Y,W分别取赋给谓词变量P1, P2的属性值 一般，元规则形成一个用户希望探察的假定，而系统则寻找与该元规则匹配的规则，例如： age(X, 30-39) ? income(X, 42K - 60K) ? buys(X, educational software) 关联规则的元规则制导挖掘（2） 假定我们希望挖掘的元规则形式为： P1∧P2∧…∧Pl = Q1∧Q2∧…∧Qr 设元规则中谓词的个数为p=l+r，则找出符合该模板的关联规则需以下两步骤： 找出所有的频繁p-谓词集Lp 计算Lp中的l-谓词子集的支持度，然后计算由Lp导出的规则的置信度 数据立方体具有存放聚集维值的能力，适合多维关联规则的挖掘，在n维数据立方体中(n=p)挖掘上述规则可以用以下步骤： 扫描p-D方体，将每个单元中的计数和最小支持度计数比较，得到Lp 考察l-D方体，返回与元规则匹配的强关联规则 用附加的规则约束制导的挖掘 在数据挖掘中，与元规则一起使用的约束还有集合/子集联系，变量初始化和聚集函数等，它们将使挖掘过程更有效 mine associations as lives(C, _,Vancouver) ∧sales+(C, ?{I},{S}) = sales+(C, ?{J},{T}) from sales where S.year=1999 and T.year=1999 and I.category=J.category group by C, I.category having sum(I.price)=100 and min(J.price)=500 with support threshold=1% with confidence threshold=50% P176 挖掘过程中使用的规则约束 通常的数据挖掘中，知识类型和数据约束在挖掘前使用，其它约束在挖掘后用来过滤规则，但这使挖掘过程非常低效。 什么类型的规则约束可以在挖掘过程中使用，以缩小规则搜索空间？ 对于频繁项集挖掘，在挖掘过程中使用的约束包括以下五种类型： 反单调的 单调的 简洁的 可转变的 不可转变的 反单调的和单调的约束 如果一个项集不满足该规则约束，则它的任何一个超集都不可能满足该约束；具有这种性质的规则称为是反单调的。 如果一个项集满足该约束，则它的所有超集也满足该约束；具有这种性质的规则称为是单调的。 简洁性约束 一个约束是简洁的，如果我们可以列出并仅仅列出所有确保满足该约束的集合；利用简洁性约束，我们可以在计数前进行剪枝，从而避免产生－测试方式的过大开销。 可转变的和不可转变的约束 有些约束不属于前面三类，但是如果项集中的项以特定的次序排列，则对于频繁项集挖掘的全过程，约束可能成为单调的或者是反单调的。例：avg(I.price) 不可转变的约束是数据挖掘中较难处理的部分，但这种约束往往较少。 总结 第五章 关联规则挖掘 什么是关联规则挖掘？ 关联规则挖掘： 从事务数据库，关系数据库和其他信息存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关联和相关性。 应用： 购物篮分析、分类设计、捆绑销售和亏本销售分析 “尿布与啤酒”——典型关联分析案例 采用关联模型比较典型的案例是“尿布与啤酒”的故事。在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，超市也因此发现了一个规律，在购买婴儿尿布的年轻父亲们中，有30%～40%的人同时要买一些啤酒。超市随后调整了货架的摆放，把尿布和啤酒放在