6大型数据库中的关联规则挖掘aiiwfzmx.pptVIP

多维关联规则挖掘——使用量化属性的静态离散化 量化属性使用预定义的概念分层，在挖掘前进行离散化 数值属性的值用区间代替 如果任务相关数据存在关系数据库中，则找出所有频繁的k-谓词集将需要k或k+1次表扫描 数据立方体技术非常适合挖掘多维关联规则 n-维方体的单元用于存放对应n-谓词集的计数或支持度，0-D方体用于存放任务相关数据的事务总数 如果包含感兴趣的维的数据立方体已经存在并物化，挖掘将会很快，同时可以利用Apriori性质：频繁谓词集的每个子集也必须是频繁的 (income) (age) () (buys) (age, income) (age,buys) (income,buys) (age,income,buys) * 挖掘量化关联规则 (1) 量化关联规则中，数值属性将根据某种挖掘标准，进行动态的离散化 例如：最大化挖掘规则的置信度和紧凑性 为了简化量化关联规则挖掘的讨论，我们将聚焦于类似以下形式的2-维量化关联规则：Aquan1 ? Aquan2 ? Acat （两个量化属性和一个分类属性间的关联） 例如： age(X,”30-39”) ? income(X,”42K - 48K”) ? buys(X,”high resolution TV”) * 挖掘量化关联规则 (2) 找出这类2-维量化关联规则的方法：关联规则聚类系统(ARCS) 一种源于图像处理的技术，该技术将量化属性对映射到满足给定分类属性条件的2-D栅格上，然后通过搜索栅格点的聚类而产生关联规则 * 关联规则聚类系统(ARCS) (1) ARCS过程中的步骤包括 1. 分箱（根据不同分箱方法创建一个2-D数组），本步骤的目的在于减少量化属性相对应的巨大的值个数，使得2-D栅格的大小可控 等宽分箱 等深分箱 基于同质的分箱（每个箱中元组一致分布） 2. 找出频繁谓词集 扫描分箱后形成的2-D数组，找出满足最小支持度和置信度的频繁谓词集 * 关联规则聚类系统(ARCS) (2) 3. 关联规则聚类 将上一步得到的强关联规则映射到2-D栅格上，使用聚类算法，扫描栅格，搜索规则的矩形聚类 * ARCS的局限性 所挖掘的关联规则左手边只能是量化属性 规则的左手边只能有两个量化属性（2-D栅格的限制） 一种不基于栅格的，可以发现更一般关联规则的技术，其中任意个数的量化属性和分类属性可以出现在规则的两端 等深分箱动态划分 根据部分完全性的度量进行聚类 * 挖掘基于距离的关联规则 等宽划分将很近的值分开，并创建没有数据的区间 等深划分将很远的值放在一组 基于距离的关联规则挖掘考虑属性值的接近性，紧扣区间数据的语义，并允许值的类似 基于距离的关联规则挖掘的两遍算法： 1. 使用聚类找出区间或簇 2. 搜索频繁的一起出现的簇组，得到基于距离的关联规则 因为未考虑数据点之间或区间的相对距离，分箱方法不是总能紧扣区间数据的语义 * 关联规则的兴趣度度量 客观度量 两个流行的度量指标 支持度 置信度 主观度量 最终，只有用户才能确定一个规则是否有趣的，而且这种判断是主观的，因不同的用户而异；通常认为一个规则（模式）是有趣的，如果： 它是出人意料的 可行动的（用户可以使用该规则做某些事情） 挖掘了关联规则后，哪些规则是用户感兴趣的？强关联规则是否就是有趣的？ * 对强关联规则的批评（1） 例1：(Aggarwal Yu, PODS98) 在5000个学生中 3000个打篮球 3750个喝麦片粥 2000个学生既打篮球又喝麦片粥 然而，打篮球 = 喝麦片粥 [40%, 66.7%]是错误的，因为全部学生中喝麦片粥的比率是75%，比打篮球学生的66.7%要高 打篮球 = 不喝麦片粥 [20%, 33.3%]这个规则远比上面那个要精确，尽管支持度和置信度都要低的多 * 对强关联规则的批评（2） 例1：(书P172，表6-4) 上述数据可以得出 buys(X, “computer games”) = buys(X, “videos”) [40%, 60%] 但其实全部人中购买录像带的人数是75%，比60%多；事实上录像带和游戏是负相关的。 由此可见A = B的置信度有欺骗性，它只是给出A,B条件概率的估计，而不度量A,B间蕴涵的实际强度。 * 由关联分析到相关分析 我们需要一种度量事件间的相关性或者是依赖性的指标 当项集A的出现独立于项集B的出现时，P(A∪B)=P(A)P(B)，即corrA,B＝1，表明A与B无关， corrA,B 1表明A与B正相关， corrA,B 1表明A与B负相关 将相关性指标用于前面的例子，可以得出录像带和游戏将的相关性为： P({game, video})/(P({game})×P({video}))=0.4/(0.75×0.6)=0.89 结论