Weka关联规则解析知识分享.pptVIP

Weka系统中的关联规则 1.Apriori 2.PredictiveApriori 3.Terius 关联规则的基本概念 设I={i1 ,i2 ,…,im}是所有数据项的集合，相当于商品的所有种类的集合。设任务相关的数据D是数据库所有事务的集合，其中每个事务T是数据项的集合，使得。每一个事务有一个标识符，称作TID。设A是一个项集，事务T包含A当且仅当。关联规则是形如的蕴涵式，其中，，并且。规则在事务集D中成立，具有支持度s，其中s是D中事务包含（即A和B二者）的百分比。它是概率P（）。规则在事务集D中具置信度c，如果D中包含A的事务同时也包含B的百分比是c。这是条件概率P（B|A）。即是 Support (A=B)=P(AUB) Confidence (A=B)=P(B|A)。 同时满足最小支持度阈值（min_sup）和最小置信度阈值（min_conf）的规则称作强关联规则。 Apriori算法综述 经典的频集算法 Agrawal等于1994年提出了一个挖掘顾客交易数据库中项集间的关联规则的重要方法，其核心是基于两个阶段频繁集思想的递推算法。所有支持度大于最小支持度的项集称为频繁项集，简称频集。 算法的基本思想 首先找出所有的频繁集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频繁集产生强关联规则，这些规则必须满足最小支持度和最小可信度。 Procedure apriori_gen(Lk-1,min_sup) (1) for each l1∈Lk-1 (2) for each l2∈Lk-1 (3) if(l1[1]= l2[1])∧…∧(l1[k-2]= l2[k-2])∧(l1[k-1]= l2[k-1]) { (4) c= l1 join l2; //将两个项集连接到一起 (5) if has _ infrequent _ itemset (c, Lk-1) (6) delete c; //除去不可能产生频繁项集的候选 (7) else Ck=Ck {c}; (8) } (9) Return Ck; procedure has _ infrequent _ subset(c, Lk-1) (1)for each(k-1)-subset s of c (2)if sLk-1 return TRUE; else return FALSE; Apriori算法的第（1）步就是发现频繁1-项集L1；在第（2）至第（8）步，利用Lk-1产生Ck以便获得Lk。apriori_gen过程产生相应的候选项集；然后利用Apriori性质删除那些子集为非频繁项集的候选项集（第（3）步）。一但产生所有候选，就要扫描数据库（第（4）步），对于数据库中的每个交易利用subset函数来帮助发现该交易记录的所有（已成为候选项集）的子集（第（5）步），由此累计每个候选项集的支持频度（第（6）步）。最终满足最小支持频度的候选项集组成了频繁项集L。这样可以利用一个过程来帮助从所获得频繁项集中生成所有的关联规则。 Apriori过程完成两种操作，那就是连接和消减操作。在连接过程中， Lk-1与Lk-1相连接以产生潜在候选项集（Apriori算法中的第（1）步至第（4）步）；消减过程中（Apriori算法中的第（5）步至第（6）步）利用Apriori性质消除候选项集中那些子集为非频繁项集的项集。 可能产生大量的候选集，以及可能需要重复扫描数据库，是Apriori算法的两大缺点。 PredictiveApriori算法 将置信度和支持度合并为预测精度而成为单一度测量法 找出经过预测精度排序的关联规则 Terius算法 根据确认度来寻找规则，它与Apriori一样寻找其结论中含有多重条件的规则，但不同的是这些条件相互间是‘或’，而不是‘与’的关系。 实例：期货市场与现货市场之间的关联性研究 源数据介绍 数据是2004年1月到2006年8月的小麦期货市场和现货市场的价格，其中期货市场价格来自郑州商品交易所，选硬冬白小麦（WT609）,价格为每月的收盘价，现货市场的价格来自国家粮油信息中心，为中等普通小麦市场批发价格，价格数值为每个月的下旬平均价。单位均转换为元/吨。 数据预处理 WEKA数据挖掘平台上的关联规则挖掘算法有三种，分别是Apriori、PredictiveApriori和Terius，这三个算法均不支持数值型数据。事实上，绝大部分的关联规则算法均不支持数值型。所以必须将数据进行处理，将数据按区段进行划分，进行离散化分箱处理。 小麦期货市场和现货市场的价格数据 期货市场的最高价是2004年9月，价格为1700元/吨，最低价是2006年6