第5章 数据仓库与数据挖掘 数据库新技术知识 .ppt

关联规则挖掘 关联规则用于表示OLTP数据库中诸多属性（项集）之间的关联程度。而关联规则挖掘（ Association Rules Mining）则是利用数据库中的大量数据通过关联算法寻找属性间的相关性。 例：(超级市场)在购买商品A的客户中有90%的人会同时购买商品B，则可用关联规则表示为： A → B …………… …….…… 规则1 我们讲数据挖掘的结果要满足一定的置信度和兴趣度要求，在这里，用户对规则感兴趣的程度我们用规则的支持度来表示。 关联规则挖掘 规则1： A → B 支持度(Support) 同时购买A和B的客户人数占总客户数的百分比称为规则1的支持度。 Support(A → B) = Probability(A?B) 置信度(Confidence) 同时购买A和B的客户人数占购买A的客户人数的百分比称为规则1的置信度。 Confidence(A → B) = Probability(B/A) = Probability(A ? B) / Probability(A) 关联规则挖掘 购买A的顾客 购买B的顾客 同时购买A和B的顾客 关联规则挖掘 如果不考虑关联规则的支持度和置信度，那么在事务数据库中存在无穷多的关联规则。事实上，人们一般只对满足一定的支持度和可信度的关联规则感兴趣。 为了发现出有意义的关联规则，需要给定两个阈值：最小支持度和最小置信度。关联规则挖掘的实质是在OLTP数据库中寻找满足用户给定的最小支持度和最小置信度的规则。 关联规则挖掘算法：The Apriori Algorithm 关联规则挖掘 Apriori算法的原理： 项集（itemset）：在数据库中出现的属性值的集合。 频繁项集（frequent itemset）：满足最小支持度要求的项集。 关联规则一定是在满足用户的最小支持度要求的频繁项集中产生的，因此，关联规则挖掘也就是在数据库中寻找频繁项集的过程。 在寻找频繁项集的过程中，我们遵循一条规则： 每个频繁项集的任一子集必定也是一个频繁项集。 关联规则挖掘 假设最小支持度和最小置信度的要求均为40% Transaction ID Items 2000 A, B, C 1000 A, C 4000 A, D 3000 B, E, F OLTP数据库 Itmeset Support A 70% B 50% C 30% D 40% E 30% F 30% Itmeset Support A, B 20% A, C 30% B, C 25% 最后找到的频繁项集是：(A), (B), (C), (A, C) 关联规则挖掘 因此，在上述数据库中，我们能找到的关联规则只能是频繁项集（A，C）上的。 规则1：A → C（支持度50%，置信度66.6%） 规则2：C → A （支持度50%，置信度100%） 序列模式分析 序列模式分析与关联规则挖掘类似，也是为了找出数据对象之间的联系，但序列模式分析法的侧重点是为了找出数据对象之间的前因后果关系。 例如： 下雨 洪涝 电筒 电池 分类分析 首先为每一个数据（记录）打上一个标记，即按标记对数据（记录）进行分类，而分类分析则是对每类数据找出其固有的特征与规律。 例：信用卡公司对持卡人的信誉度标记按：优、良、一般及差四档分类。这样，持卡人就分成为四种类型，然后利用分类分析找出每一类持卡人的特征与规律。如可以对信誉度为优的持卡人寻出其固有规律如下： 信誉度为优的持卡人一般为年收入在10万元以上，年龄在45－55岁之间并居住在莲花小区与翠微山庄的人 例：电话计费系统可以根据不同时间段电话的使用频率来调整计费单价。 分类分析 记录的分类标准可以是用户给定的，也可以从领域知识中获取。 分类分析法是一种特征归纳的方法，它将每类数据所共有的特性抽取以获得规律性的规则，目前有很多分析类型，它们大都基于： 线性回归分析 人工神经网络 决策树 规则模型 聚类分析 聚类分析与分类分析相反，首先输入的是一组没有被标记的记录，系统按照一定的规则合理地划分记录集合（相当于给记录打标记，只不过分类标准不是用户指定的），然后可以采用分类分析法进行数据分析，并根据分析的结果重新对原来的记录集合（没有被标记的记录集合）进行划分，进而再一次进行分类分析，如此循环往复，直到获得满意的分析结果为止。 例如 信用卡的等级划分 学生的分类 数据挖掘的步骤 数据挖掘一般可由下面5个步骤组成，它们是： 数据集成 数据归约 挖掘 评价 表示 数据挖掘的步骤 （1）数据集成 数据挖掘的基础是数据，因此在挖掘前必须进行数据集成，这包括： 首先从各类数据系统中提取挖掘所需的统一数据模型，建立一致的数据视图。 其次是作数据加载，从而形成挖掘的数据基础 目前，一般