一种基于矩阵按位存储的Apriori改进算法.pdfVIP

第9卷第10期 软件导刊 V01．9No．10 2010年10月 SoftwareGuide Oct．2010 一种基于矩阵按位存储的Apriori改进算法 陈建国，宋中山 (中南民族大学计算机科学学院，湖北武汉430074) 摘要：关联规则是数据挖掘的重要研究方向之一，Apriori算法是利用关联规则进行数据挖掘中的一个最经典的算 法。通过对Apriofi算法进行研究分析，发现该算法具有产生大量候选项集和多次扫描数据库的缺点。提出了一种基 于矩阵按位存储的改进型Apriori算法。该算法将数据库中的数据读入内存，用矩阵按位存储数据，使用按位运算计 算项集的支持数，提高了支持数计数的效率。从而提高了关联规则挖掘的速度和效率。 关键词：关联规则：数据挖掘：频繁项集 中图分类号：哪!2 文献标识码：A 文章编号：1672—7800(2010)1㈣075—02 1 Apriori算法分析 咖(弓，蝻。而)其中啦{／Ol，,五／jEe荔 1项集，的矩阵记为： 算法中在产生频繁候选集时采用了修剪技术(Pruning)，修 dlldl2．．一dlJI 剪策略基于Apfiofi的一个性质：一个项集是频繁项集当且仅 t)=--(D，，D2，．．．，见)：I如-峰·九I 当它的所有子集都是频繁项集。修剪技术是当C。中某个候选 4。d，2…厶I 项集有一个(k—1)项子集的元素不属于k山则修剪掉这个后 定义2：2项集{，i，五}的向量定义为B： 选项集，以后不再考虑该项集，减小候选集C。的大小，这个修 岛=功^岛=(南^弓，如^勘…．以^曝) 剪过程可以降低计算所有候选集的支持度的代价，由此可以显 其中。“^”是“逻辑与”运算符。这样，2项集{五^五}的支持 著地改进生成所有频繁项集算法的性能。 度计数为： 虽然Apdofi算法采用修剪技术已经自身进行了一定的优 化，但是Apriori算法还是存在明显的不足： support_count{，f，tA=艺(如^喀) (1)由频繁k—l项集进行自连接生成的候选K项集，生成 定义3：k项集∽，厶，．．．，五}的向量定义为Dl。，：D。一：D。^D2．．． 的项集数量巨大。 AD产LDl八D》．Di●八Di (2)在对候选K项集的支持度计数时，需要对整个数据库 进行扫描．当大型数据库中的数据没有全部装入内存中时，扫 描数据库会使算法的效率大大降低。 读选K项集生成规则：厶一。[i]表示频繁k项集厶的第i项。 (3)对候选K项集进行修剪时，需要对每个候选项集产生 生成候选K项集则必须保证k。是可以自连接的。厶．。存在两 其k一1项子集．每个k一1项子集可产生k个元素。还需对每个 元素与k—l项频繁项集中的元素进行比较来决定是否对该候 [i]和厶一。[，]，则连接后产生的k项候选集为L14 选K项集进行修剪，这个过程复杂且耗时。