最大频繁项集挖掘研究.docxVIP

最大频繁项集挖掘研究 1 算法的基本思想 1993年，agrawal首次提出了在客户交易数据库中频繁访问的问题，并设计了经典的apriori算法。算法中计算项集的支持数是发现频繁项集中最耗时的工作,占据整个计算量的大部分,因此,降低候选项集的数量是减小开销的最好手段。由于最大频繁项集中已经隐含了所有频繁项集,且其数量远低于所有的频繁项集的个数,所以可把频繁项目集挖掘问题转化为最大频繁项目集挖掘问题。目前已有的最大频繁集挖掘算法根据搜索空间的遍历策略分为宽度优先算法,如Max-Miner、Pincer-Search、DMFI和DMFIA,深度优先算法,如Depth Project、MAFIA、Gen Max、Min Max、Smart Miner和FPMax。但是这些精确型算法往往复杂度高,不具有可扩展性,当项集较多较长时消耗时间和空间是不可承受的,并且最终容易导致无意义的频繁项集。因此设计一种既能提高算法效率,又能找到有意义的频繁项集的智能算法,具有重大意义。 蚁群优化(Ant Colony Optimization,ACO)算法是通过模拟蚁群部落的群体行为而得出的一种仿生算法,并成功用于求解旅行商问题(Traveling Salesman Problem,TSP)。文献首次给出了挖掘最大频繁项集的蚁群算法ACS-MFI,将最大频繁项集问题抽象为带约束条件的子集问题,并应用蚁群系统(Ant Colony System,ACS)求解,有效地提高了挖掘的效率。该算法将信息素放在项上,没有路径的概念,蚂蚁根据项上的信息素和启发式因子依次进行选择,但是这种方法的信息素增减对蚂蚁影响的无序性和蚂蚁选择项的有序性之间存在矛盾,被增强信息素项的个数与对蚂蚁影响次数可能不同,即信息素的增减对蚂蚁的影响具有不确定性。 因此,结合频繁项集关联图和最大最小蚂蚁系统(MaxMin Ant System,MMAS)思想,给出挖掘最大频繁项集新的蚂蚁算法。该算法只需要扫描一次数据库,然后构建蚂蚁路径图,根据新的动态信息素和启发式信息构造最大频繁项集,采用与问题紧密相关的局部更新和全局更新机制。实验结果表明该算法加速了运行时间和提高了项集提取率,对于大型数据库的最大频繁项集的挖掘是高效智能的。 2 频繁体作用及其相关定理 最大频繁项集(Maximal Frequent Itemsets,MFI)挖掘用于发现频繁地出现在数据集中的最大子集。设I={I1,I2,…,Ij,…,In}是数据集中所有项(Item)的集合,I中的任何非空子集称为项集(Itemsets)。设数据库D是事务(Transaction)的集合,D={T1,T2,…,Ti,…,Tm},其中每个事务Ti是项的集合,即Ti={Ii1,Ii2,…,Iij,…,Iik}且Iij∈I,T?I。对应每一个事务有唯一的标识符,如交易号,记作TID。 定义1项集X的支持度计数是数据库D中包含X的事务数,记作Support(X)。如果X的支持度计数不小于用户指定的最小支持数阈值min_s,即Support(X)3min_s,则称X为频繁项集,否则称X为非频繁项集。 定义2项集X的所含项的个数p称为X的模,记作p=|X|,并称X为p-项集。进一步,如果项集X是频繁的,则称X为频繁p-项集。所有频繁p-项集组成的集合记作u200aLp。 定义3对于给定的数据库D和最小支持数阈值min_s,对于X?I,若Support(X)≥min_s,但对于任意的Y?I,X?Y,有Support(Y)min_s,则称X为最大频繁项集。 根据以上定义不难得到以下定理: 定理1设项集X是频繁的,则存在最大频繁项集Y?I,满足X?Y。 定理2对于给定的事物数据库D和最小支持数阈值min_s,设FI为所有频繁项集,MFI为所有最大频繁项集,则FI?MFI。 进一步还可以得到如下性质: 性质1如果X,Y?I且X∈FI,Y∈X,则Y∈FI。即频繁项集的子集是频繁的。 性质2如果X,Y?I且X?FI,Y?X,则Y∈FI。即非频繁项集的超集是非频繁的。 性质3如果X,Y?I且X∈MFI,若Y?X或,则Y?MFI。即最大频繁项集的子集或者超集不是最大频繁项集。 定理1和定理2说明,最大频繁项集中已经隐含了所有频繁项集,所以可把频繁项目集挖掘问题转化为最大频繁项目集挖掘问题。 3 节点之间及其序序的关系 最大频繁项集挖掘与旅行商问题有着本质的不同。一方面,TSP是图中距离和最短所有节点的有序最小组合优化问题,最优解与所有节点、节点之间的连接及其顺序有关;而MFI是图中满足约束的最多子节点的无序最大组合优化问题,最优解与部分节点有关,与节点之间的连接及其顺序无关。另一方面,由于TSP最优解与所有节点有关,不同蚂蚁构造的解可能不同,但是都包括了所有城市