关联规则挖掘技术在零售业中应用.docVIP

关联规则挖掘技术在零售业中应用 　　[摘 要] 简要地介绍数据挖掘和关联规则的概念,关联规则的基本理论,讨论了Apriori算法的核心内容,同时针对Apriori算法的不足,提出了解决方法,描述了几种优化算法。最后分析了关联规则挖掘在零售业中的应用。 　　[关键词] 关联规则 数据挖掘 Apriori 算法 　　 　　数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。人工智能领域习惯称知识发现,而数据库领域习惯称数据挖掘。 　　由于条形码技术的发展,零售部门可以利用前端收款机收集交易数据,并把这些数据存储在后台海量数据库中。如果对这些历史数据进行分析,从中获得顾客购买行为特征,对商家来说是极有价值的信息。这些信息有助于规划市场、合理安排货架等。Agrawal针对大型超市的销售数据库建立了关联规则模型和数据挖掘算法。 　　一、关联规则的基本理论 　　设I={i1,i2,…,im}为所有项目的集合,D为事务数据库,事务 T是一个项目子集(TT)。每一个事务具有惟一的事务标识Tid。设A是一个由项目构成的集合,称为项集。事务T包含项集A,当且仅当AT。如果项集A中包含k个项目,则称其为k项集。项集A在事务数据库D中出现的次数占D中总事务的百分比叫做项集的支持度。如果项集的支持度超过用户给定的最小支持度阈值,就称该项集是频繁项集(或大项集)。 　　关联规则是形如XY的逻辑蕴含式,其中XI,YI,且X⌒Y=φ。如果事务数据库D中有要s%的事务包含XY,则称关联规则XY的支持度为s%,实际上,支持度是一个概率值。若项集X的支持度记为sup port(X),规则的信任度为sup port(XY)/sup port(X)。这是一个条件概率P(Y/Y)。也就是: 　　sup port(XY)=P(XY) 　　confidence(XY)=P(Y/Y) 　　关联规则就是支持度和信任度分别满足用户给定阈值的规则。发现关联规则需要经历如下两个步骤: 　　1.找出所有频繁项集。 　　2.由频繁项集生成满足最小信任度阈值的规则。 　　二、关联规则的挖掘算法 　　1.Apriori算法 　　Apriori算法在发现关联规则领域具有很大影响力。算法命名源于算法使用了频繁项集性质的先验(Prior)知识。在具体实现时,Apriori算法将发现关联规则的过程分为两个步骤:第一步通过迭代,检索出事务数据库中的所有频繁项集,即支持度不低于用户设定的阈值的项集;第二步利用频繁项集构造出满足用户最小信任度的规则。其中,挖掘或识别出所有频繁项集是该算法的核心,占整个计算量的大部分。 　　由m个项目形成的不同项集的数目可以达到2m-1个,尤其在海量数据库D中,这是一个NP难度的问题。为了避免计算所有项集的支持度(实际上频繁项集只占很少一部分),Apriori算法引入潜在频繁项集的概念。若潜在频繁k项集的集合记为Ck,频繁k项集的集合记为Lk,m个项目构成的k项集的集合为Ckm,则三者之间满足关系LkCkCkm。构成潜在频繁项集所遵循的原则是“频繁项集的子集必为频繁项集”。 　　通过已知的频繁项集构成长度更大的项集,并将其称为潜在频繁项集。潜在频繁k项集的集合Ck是指由有可能成为频繁k项集的项集组成的集合。以后只需计算潜在频繁项集的支持度,而不必计算所有不同项集的支持度,因此在一定程度上减少了计算量。具体的实现过程为: 　　(1)通过单趟扫描数据库D计算出各个1项集的支持度,从而得到频繁1项集构成的集合L1。 　　(2)连接步:为了产生频繁k项集构成的集合Lk,预先生成一个潜在频繁k项集的集合Ck。潜在频繁项集的集合由JOIN运算得到。若p,q∈Lk-1,P{p1,p2,…,pk-2,pk-1},q={q1,q2,…,pk-2,pk-1,qk-1},并且当1≤i≤k-1时,pi=qi,当i=k-1时,pk-1≠qk-1,则pq={p1,p2,…,pk-2,pk-1,qk-1}是潜在频繁k项集的集合Ck中的元素。这里的潜在频繁k项集的集合Ck是指由有可能成为频繁k项集的项集组成的集合。 　　(3)剪枝步:由于Ck是Lk的超集,可能有些元素不是频繁的。Ck很庞大时会带来巨大的计算量,为减少Ck的规模,Apriori遵从下列性质:任何非频繁的(k-1)项集必定不是频繁k项集的子集。所以,当潜在k项集的某个(k-1)子集不是Lk-1中的成员时,则该潜在频繁项集不可能是频繁的,可以从Ck中移去,这就是Apriori剪枝思想。 　　(4)通过单趟扫描数据库D,计算Ck中各个项集的支持度。 　　(5)将Ck中不满足最小支持度的项集剔除,形成由频繁k项集构成的集