数据挖掘从大数据库中挖掘关联规则PPT.ppt

2001-11-6 数据挖掘：概念和技术 FP-growth vs. Apriori: 相对于支持度的扩展性 Data set T25I20D10K FP-growth vs. Tree-Projection:相对于支持度的扩展性 Data set T25I20D100K 关联规则结果显示 (Table Form ) 关联规则可视化Using Plane Graph 关联规则可视化Using Rule Graph 冰山查询 冰山查询: 在一个或多个属性上做聚合，只有当聚合的值高于指定的值时才做计算 举例： select P.custID, P.itemID, sum(P.qty) from purchase P group by P.custID, P.itemID having sum(P.qty) = 10 用Apriori提高 执行 冰山查询的效率 先计算低维 只有当所有的低维都满足预制时才计算高维 数据挖掘: 概念和技术 — Chapter 6 — ?张晓辉 xiaohui@fudan.edu 复旦大学 （国际）数据库研究中心 第6章：从大数据库中挖掘关联规则 关联规则挖掘 从交易数据库中挖掘一维的布尔形关联规则 从交易数据库中挖掘多层次关联规则 在交易数据库和数据仓库中挖掘多维关联规则 从关联挖掘到相关性分析 基于约束的关联挖掘 小结 多层关联规则 项通常具有层次 底层的项通常支持度也低 某些特定层的规则可能更有意义 交易数据库可以按照维或层编码 可以进行共享的多维挖掘 食品 面包 牛奶 脱脂奶 光明 统一 酸奶 白 黄 挖掘多层关联规则 自上而下，深度优先的方法： 先找高层的“强”规则： 牛奶 ? 面包 [20%, 60%]. 再找他们底层的“弱”规则： 酸奶 ? 黄面包 [6%, 50%]. 多层关联规则的变种 层次交叉的关联规则： 酸奶 ? 复旦面包房 黄面包 不同种分层方法间的关联规则： 酸奶 ?复旦面包房面包 多层关联规则: 支持度不变 vs. 支持度递减 支持度不变: 在各层之间使用统一的支持度 + 一个最小支持度阈值. 如果一个项集的父项集不具有最小支持度，那他本身也不可能满足最小支持度。 – 底层项不会成为频繁集，如果支持度 太高 ? 丢失底层关联规则 太低 ? 生成太多的高层关联规则 支持度递减: 随着层次的降低支持度递减 4种搜索策略： 层与层独立 用k-项集跨层过滤 用项跨层过滤 用项进行可控跨层过滤 支持度不变 支持度不变多层挖掘 牛奶 [support = 10%] 酸奶 [support = 6%] 脱脂奶 [support = 4%] 层 1 min_sup = 5% 层 2 min_sup = 5% 支持度递减 支持度递减多层挖掘 酸奶 [support = 6%] 脱脂奶 [support = 4%] 层 1 min_sup = 5% 层 2 min_sup = 3% 牛奶 [support = 10%] 多层关联：冗余过滤 由于“祖先”关系的原因，有些规则可能是多余的。 例子 牛奶 ? 白面包 [support = 8%, confidence = 70%] 酸奶 ? 白面包 [support = 2%, confidence = 72%] 我们称第一个规则是第二个规则的祖先 参考规则的祖先，如果他的支持度与我们“预期”的支持度近似的话，我们就说这条规则是冗余的。 多层挖掘：深度优先 自顶向下，深度优先的方法： 先挖掘高层频繁项： 牛奶 (15%), 面包 (10%) 再挖掘他们底层的相对较弱的频繁项： 酸奶 (5%), 白面包 (4%) 跨层时对支持度的不同处理方法，对应了不同的算法: 层之间支持度不变： 如果t的祖先是非频繁的，则不用考虑t 支持度随层递减： 则只考虑那些其祖先是频繁的/不可忽略的项 数据挖掘查询的逐步精化 为什么要逐步精化 挖掘操作的代价可能高或低，结果可能细致或粗糙 在速度和质量之间折衷：逐步精化 超集覆盖特征： 预存储所有正面答案—允许进一步正确性验证，而不必验证已经错误的 2或多步挖掘： 先执行粗糙的、容易的操作 (超集覆盖) 然后在减少后的候选集上进行计算量大的算法 (Koperski Han, SSD’95). * * 数据挖掘: 概念和技术 — Chapter 6 — ?张晓辉 xiaohui@fudan.edu 复旦大学 （国际）数据库研究中心 第6章：从大数据库中挖掘关联规则 关联规则挖掘 从交易数据库中挖掘一维的布尔形关联规则 从交易数据库中挖掘多层次关联规则 在交