数据挖掘6、大型数据库中的关联规则挖掘详解.ppt

挖掘量化关联规则 (1) 量化关联规则中，数值属性将根据某种挖掘标准，进行动态的离散化 例如：最大化挖掘规则的置信度和紧凑性 为了简化量化关联规则挖掘的讨论，我们将聚焦于类似以下形式的2-维量化关联规则：Aquan1 ? Aquan2 ? Acat （两个量化属性和一个分类属性间的关联） 例如： age(X,”30-39”) ? income(X,”42K - 48K”) ? buys(X,”high resolution TV”) 挖掘量化关联规则 (2) 找出这类2-维量化关联规则的方法：关联规则聚类系统(ARCS) 一种源于图像处理的技术，该技术将量化属性对映射到满足给定分类属性条件的2-D栅格上，然后通过搜索栅格点的聚类而产生关联规则 关联规则聚类系统(ARCS) (1) ARCS过程中的步骤包括 1. 分箱（根据不同分箱方法创建一个2-D数组），本步骤的目的在于减少量化属性相对应的巨大的值个数，使得2-D栅格的大小可控 等宽分箱 等深分箱 基于同质的分箱（每个箱中元组一致分布） 2. 找出频繁谓词集 扫描分箱后形成的2-D数组，找出满足最小支持度和置信度的频繁谓词集 关联规则聚类系统(ARCS) (2) 3. 关联规则聚类 将上一步得到的强关联规则映射到2-D栅格上，使用聚类算法，扫描栅格，搜索规则的矩形聚类 ARCS的局限性 所挖掘的关联规则左手边只能是量化属性 规则的左手边只能有两个量化属性（2-D栅格的限制） 一种不基于栅格的，可以发现更一般关联规则的技术，其中任意个数的量化属性和分类属性可以出现在规则的两端 等深分箱动态划分 根据部分完全性的度量进行聚类 挖掘基于距离的关联规则 等宽划分将很近的值分开，并创建没有数据的区间 等深划分将很远的值放在一组 基于距离的关联规则挖掘考虑属性值的接近性，紧扣区间数据的语义，并允许值的类似 基于距离的关联规则挖掘的两遍算法： 1. 使用聚类找出区间或簇 2. 搜索频繁的一起出现的簇组，得到基于距离的关联规则 因为未考虑数据点之间或区间的相对距离，分箱方法不是总能紧扣区间数据的语义 关联规则的兴趣度度量 客观度量 两个流行的度量指标 支持度 置信度 主观度量 最终，只有用户才能确定一个规则是否有趣的，而且这种判断是主观的，因不同的用户而异；通常认为一个规则（模式）是有趣的，如果： 它是出人意料的 可行动的（用户可以使用该规则做某些事情） 挖掘了关联规则后，哪些规则是用户感兴趣的？强关联规则是否就是有趣的？ 对强关联规则的批评（1） 例1：(Aggarwal Yu, PODS98) 在5000个学生中 3000个打篮球 3750个喝麦片粥 2000个学生既打篮球又喝麦片粥 然而，打篮球 = 喝麦片粥 [40%, 66.7%]是错误的，因为全部学生中喝麦片粥的比率是75%，比打篮球学生的66.7%要高 打篮球 = 不喝麦片粥 [20%, 33.3%]这个规则远比上面那个要精确，尽管支持度和置信度都要低的多 对强关联规则的批评（2） 例1：(书P172，表6-4) 上述数据可以得出 buys(X, “computer games”) = buys(X, “videos”) [40%, 60%] 但其实全部人中购买录像带的人数是75%，比60%多；事实上录像带和游戏是负相关的。 由此可见A = B的置信度有欺骗性，它只是给出A,B条件概率的估计，而不度量A,B间蕴涵的实际强度。 由关联分析到相关分析 我们需要一种度量事件间的相关性或者是依赖性的指标 当项集A的出现独立于项集B的出现时，P(A∪B)=P(A)P(B)，即corrA,B＝1，表明A与B无关， corrA,B 1表明A与B正相关， corrA,B 1表明A与B负相关 将相关性指标用于前面的例子，可以得出录像带和游戏将的相关性为： P({game, video})/(P({game})×P({video}))=0.4/(0.75×0.6)=0.89 结论：录像带和游戏之间存在负相关 * 支持度和置信度分别是衡量实用性和确定性的指标 ％2的支持度指的是所有的事务（购买记录）中的2％同时购买了计算机和软件 置信度60％意味着购买了计算机的人中，60％也购买了软件 大型数据库中的关联规则挖掘 什么是关联规则挖掘？ 关联规则挖掘： 从事务数据库，关系数据库和其他信息存储中的大量数据的项集之间发现有趣的、频繁出现的模式、关联和相关性。 应用： 购物篮分析、分类设计、捆绑销售等 “尿布与啤酒”——典型关联分析案例 采用关联模型比较典型的案例是“尿布与啤酒”的故事。在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，超市也因此发现了一个规律，在购买婴儿尿布的年轻父亲们中，有30%～40%的人同时要买一些啤酒。超市随后调整了货架