数据挖掘挖掘频繁模式关联和相关性.pptxVIP

数据挖掘挖掘频繁模式关联和相关性演示文稿目前一页\总数四十五页\编于七点 第二章 挖掘频繁模式、关联和相关性1基本概念2频繁项集挖掘方法3模式评估方法目前二页\总数四十五页\编于七点 基本概念目前三页\总数四十五页\编于七点 购物篮分析： “尿布与啤酒”采用关联模型比较典型的案例是“尿布与啤酒”的故事。在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，超市也因此发现了一个规律，在购买婴儿尿布的年轻父亲们中，有30%～40%的人同时要买一些啤酒。超市随后调整了货架的摆放，把尿布和啤酒放在一起，明显增加了销售额。同样的，我们还可以根据关联规则在商品销售方面做各种促销活动。4目前四页\总数四十五页\编于七点 购物篮分析关联规则表示 如果问题的全域是商店中所有商品的集合，则对每种商品都可以用一个布尔量来表示该商品是否被顾客购买，则每个购物篮都可以用一个布尔向量表示；而通过分析布尔向量则可以得到商品被频繁关联或被同时购买的模式，这些模式就可以用关联规则表示（0001001100，这种方法丢失了什么信息？）关联规则的两个兴趣度度量支持度置信度5目前五页\总数四十五页\编于七点 频繁项集、闭项集和关联规则频繁项集、闭项集基本概念k－项集：包含k个项的集合。例如：{牛奶，面包，黄油}是个3－项集项集的频率是指包含项集的事务数如果项集的频率大于最小支持度×D中的事务总数，则称该项集为频繁项集 项集X在数据集D中是闭的，即不存在真超项集Y，使得Y与X在D中具有相同的支持度计数，则项集X是数据集D中的闭项集6目前六页\总数四十五页\编于七点 频繁项集、闭项集和关联规则关联规则：基本概念给定：√ 项的集合：I={i1,i2,...,in}√ 任务相关数据D是数据库事务的集合，每个事务T则是项的集合，使得√ 每个事务由事务标识符TID标识；√ A,B为两个项集，事务T包含A当且仅当则关联规则是如下蕴涵式：√ 其中 并且 ，规则 在事务集D中成立，并且具有支持度s和置信度c7目前七页\总数四十五页\编于七点 关联规则基本概念——示例项的集合I={A,B,C,D,E,F}每个事务T由事务标识符TID标识，它是项的集合比如：TID(2000)={A,B,C}任务相关数据D是数据库事务的集合TID购买的item2000A,B,C1000A,C4000A,D5000B,E,F8目前八页\总数四十五页\编于七点 规则度量：支持度和置信度对所有满足最小支持度和置信度的关联规则支持度s是指事务集D中包含 的百分比置信度c是指D中包含A的事务同时也包含B的百分比假设最小支持度为50%，最小置信度为50%，则有如下关联规则A C (50%, 66.6%)；C A (50%, 100%)TID购买的item2000A,B,C1000A,C4000A,D5000B,E,FCustomer buys diaperCustomer buys bothCustomer buys beer9目前九页\总数四十五页\编于七点 关联规则挖掘过程大型数据库中的关联规则挖掘包含两个过程找出所有频繁项集√ 大部分的计算都集中在这一步由频繁项集产生强关联规则√ 即满足最小支持度和最小置信度的规则10目前十页\总数四十五页\编于七点 关联规则挖掘分类根据规则中所处理的值类型布尔关联规则量化关联规则（规则描述的是量化的项或属性间的关联性）根据规则中涉及的数据维单维关联规则（仅涉及buys这个维）多维关联规则11目前十一页\总数四十五页\编于七点 关联规则挖掘分类根据关联挖掘的各种扩充挖掘最大的频繁模式 挖掘频繁闭项集（一个项集c是频繁闭项集，如果不存在其真超集c’，使得每个包含c的事务也包含c’）最大的频繁模式和频繁闭项集可以用来减少挖掘中产生的频繁项集根据规则集所涉及的抽象层单层关联规则多层关联规则 （在不同的抽象层发现关联规则）12目前十二页\总数四十五页\编于七点 由事务数据库挖掘单维布尔关联规则最简单的关联规则挖掘，即单维、单层、布尔关联规则的挖掘置信度最小支持度 50%最小置信度 50%对规则AC，其支持度=50%13目前十三页\总数四十五页\编于七点 频繁项集挖掘方法目前十四页\总数四十五页\编于七点 Apriori算法：通过限制候选产生发现频繁项集Apriori算法是挖掘布尔关联规则频繁项集的算法Apriori算法利用的是Apriori性质频繁项集的所有非空子集也必须是频繁的如果 {b er, diaper, nuts} 是频繁的, {b er, diaper}也是非频繁项集的超集一定是非频繁的15目前十五页\总数四十五页\编于七点 Apriori算法：通过限制候选产生发现频繁项集Apriori算法利用频繁项集性质的先验知识（prior knowledge），通过逐层搜索的迭代