[工学]浙大数据挖掘_5_关联挖掘.ppt

挖掘频繁模式、关联和相关 什么是频繁模式分析？ 频繁模式是频繁的出现在数据集中的模式 如项集、子序或者子结构 动机：发现数据中蕴含的内在规律 那些产品经常被一起购买？---啤酒和尿布？ 买了PC之后接着都会买些什么？ 哪种DNA对这种新药敏感 我们能够自动的分类WEB文档吗？ 应用 购物篮分析、WEB日志（点击流）分析、捆绑销售、DNA序列分析等 频繁模式挖掘的重要性 揭示数据集的内在的、重要的特性 作为很多重要数据挖掘任务的基础 关联、相关和因果分析 序列、结构（e.g.子图）模式分析 时空、多媒体、时序和流数据中的模式分析 分类：关联分类 聚类分析：基于频繁模式的聚类 数据仓库：冰山方体计算 购物篮分析 如果问题的全域是商店中所有商品的集合，则对每种商品都可以用一个布尔量来表示该商品是否被顾客购买，则每个购物篮都可以用一个布尔向量表示；而通过分析布尔向量则可以得到商品被频繁关联或被同时购买的模式，这些模式就可以用关联规则表示（e.g. 0001001100，这种方法丢失了什么信息？） 关联规则的两个兴趣度度量 支持度 置信度 通常，如果关联规则同时满足最小支持度阈值和最小置信度阈值，则此关联规则是有趣的 关联规则：基本概念 给定： 项的集合：I={i1,i2,...,in} 任务相关数据D是数据库事务的集合，每个事务T则是项的集合，使得 每个事务由事务标识符TID标识； A,B为两个项集，事务T包含A当且仅当 则关联规则是如下蕴涵式： 其中 并且 ，规则 在事务集D中成立，并且具有支持度s和置信度c 规则度量：支持度和置信度 Customer buys diaper Customer buys both Customer buys beer 支持度s是指事务集D中包含 的百分比 置信度c是指D中包含A的事务同时也包含B的百分比 假设最小支持度阈值为50%，最小置信度阈值为50%，则有如下关联规则 A  C (50%, 66.6%) C  A (50%, 100%) 同时满足最小支持度阈值和最小置信度阈值的规则称作强规则 P148 ① 基本概念——示例 项的集合 I={A,B,C,D,E,F} 每个事务T由事务标识符TID标识，它是项的集合 TID(2000)={A,B,C} 任务相关数据D是数据库事务的集合 频繁项集 基本概念 k－项集：包含k个项的集合 {牛奶，面包，黄油}是个3－项集 项集的频率是指包含项集的事务数，简称为项集的频率、支持度计数或计数 项集的支持度有时称为相对支持度，而出现的频率称作绝对支持度。如果项集I的频率大于（最小支持度阈值×D中的事务总数），则称该项集I为频繁项集。频繁k项集的集合通常记作Lk。 关联规则挖掘 的两步过程 一般来说，关联规则的挖掘可以看作两步的过程： 找出所有频繁项集 该项集的每一个出现的频繁性 ≥ min_sup 由频繁项集产生强关联规则 即满足最小支持度和最小置信度的规则 主要挑战：会产生大量满足min_sup的项集，尤其当min_sup设置得低的时候 E.g. 一个长度为100的频繁项集{a1,a2,…,a100}包含的频繁项集的总个数为 闭频繁项集和极大频繁项集 如果不存在真超项集Y使得Y与X在S中有相同的支持度计数，则称项集X在数据集S中是闭的。项集X是数据集S中的闭频繁项集，如果X在S中是闭的和频繁的。项集X是S中的极大频繁项集（或极大项集），如果X是频繁的，并且不存在超项集Y使得 并且Y在S中是频繁的。 设C是数据集S中满足min_sup的闭频繁项集的集合，令M是S中满足min_sup的极大频繁项集的集合。假定我们有C和M中每个项集的支持度计数，则C和他的计数信息可以用来导出频繁项集的完整集合（我们称C包含了关于频繁项集的完整信息）。 E.g. DB中只有两个事务{a1,a2,…,a100; a1,a2,…,a50}，min_sup=1，则 C= {a1,a2,…,a100:1; a1,a2,…,a50:2}，M= {a1,a2,…,a100:1} （显然{a1,a2,…,a100} 有个频繁超集{a1,a2,…,a100} ）。 关联规则挖掘分类 (1) 根据挖掘的模式的完全性分类：给定min_sup，可以挖掘频繁项集的完全集，闭频繁项集和极大频繁项集。也可以挖掘被约束的频繁项集（即满足用户指定的一组约束的频繁项集）、近似的频繁项集（只推导被挖掘的频繁项集的近似支持度计数）、接近匹配的频繁项集（即与接近或几乎匹配的项集的支持度计数符合的项集）、top-k频繁项集 不同的应用对挖掘的模式的完全性有不同的要求，我们主要研究挖掘频繁