SAS关联规则及相关算法范本.pptVIP

* 挖掘多层次关联规则 同层关联规则 处于同概念层的关联规则，挖掘在特定概念层上逐层展开，需对项的每个层次进行处理，一般采用自顶向下的策略。对每一层，可以使用类似于单层关联规则挖掘的发现频繁项集的任何算法；算法：ML-T2、ML_T1LA、ML-SH、ML-T2+等 层间关联规则 跨越层边界，规则中的项不要求属于同一概念层。算法：ML-CH等 * 同层关联规则的挖掘步骤 对概念层次树进行编码 将事务的项用对应的编码代替，构成编码数据库 从高到低依次搜索各层的大项集 由各层的大项集分别生成关联规则 * 概念层次树及事务的编码 先对根结点编码，再按照从上到下的顺序对每层的结点逐层编码。一个概念的子结点的序号为：1,2,3…。子结点代码=父结点代码+子结点在子树中的序号，依此类推 把数据库中的值用其编码代替 　 * 层交叉过滤 如果数据项A是非频繁的，那么A的后代也是非频繁的 如果某个数据项是非频繁的，那么包含其后代的数据项集也必定是非频繁的 利用上层大项集对下层事务进行消减 ML_T1L2算法、ML_T1LA算法等 * 层交叉过滤 体育类商品 （支持度＝10％） 篮球 足球 非频繁 不考察 不考察 层2 支持阈值 ＝ 3% 层1 支持阈值 ＝ 12% 一个第i层的k－项集被考察，当且仅当它 在第（i-1）层的父节点k－项集是频繁的。 * ML_T2算法 ML_T2算法[32]采用交易削减的方法，减小了扫描的数据量，从而提高算法的效率。该算法按照概念层次从高到低的顺序，搜索每层的大项集。 * ML_T2算法步骤： 在最高概念层次上，函数get_large_1_itemset扫描T[1]（原始数据库D），得到一阶大项集； 由函数get_filtered_table利用一阶大项集对T[1]过滤，删除每条交易中祖先不属于大项集的项，如果某交易所有的项都被删除，那么该交易也被删除，最终得到削减的数据库T[2]。 然后，利用Apriori算法通过循环得到各阶大项集。 从第2层开始，算法扫描T[2],依次得到每层的大项集。当达到了最大层次数或者某层上的1阶大项集为空时，算法停止。 * ML_T2算法示例 T[1] L1 L2 minsup=4 T[2] L2 L1 minsup=3 L1 L2 minsup=3 L3 itemset sup. {11*} 5 {12*} 4 {21*} 4 {22*} 4 * ML_T1LA算法 ML_T1LA算法与ML_T1算法的过程基本相同，区别是ML_T1LA在每层都执行类似的交易削减。在任意的p层上，得到一阶大项集后，对数据库T[p]进行过滤，得到T[p+1],从而实现逐层减小扫描的数据量，但这种方法只在每层所过滤掉的数据量较大时比较有效. * ML_T1LA算法示例 T[1] L1 L2 minsup=4 T[2] L2 L1 minsup=3 T[3] L1 L2 minsup=3 L3 itemset sup. {11*} 5 {12*} 4 {21*} 4 {22*} 4 * 层间关联规则的挖掘 定义2.17 层间关联规则又称为广义关联规则，形式为X ?Y，其中X，Y 是任意概念层次上的大项集，满足X∩Y= ? ，且Y 不包括X 中的项的祖先。 * 决策量化技术 * 定义2.18 设项集X={x1, x2,…,xk}，Y= {y1, y2,…,yk}，其中yj 是xj 的祖先概念。如果已知Y 的支持度为Pr(Y)，那么X 的期望支持度等于： EY (Pr(X))=(Pr(X1 )/ Pr(Y1 )*Pr( X2)/ Pr(Y2 )*…….Pr( XK) /Pr(YK )) * Pr(Y)? * 定义2.19 设X ? Y 是一条规则，Z 是X 的祖先，W 是Y 的祖先。如果已知规则Z ? W 的置信度为Pr(W|Z)，那么规则X ? Y 的期望置信度等于：E Z ? W(Pr(X ? Y )) = (Pr(Y1 )/ Pr(W1 )*Pr( Y2)/ Pr(W2 )*…….Pr( YK) /Pr(WK )) * Pr(W|Z)? * 如果“衣服” ? ?“鞋子”是一条关联规则，支持度为20%，置信度为60%。假设买衣服的交易中外套占50%，那么根据统计规律， “外套”?? “鞋子”的期望支持度应该为10%，期望置信度为60%。如果经过计算发现实际的支持度和置信度与期望值相近，那么这条规则就是冗余的。 衣服 鞋子