一种高效的混合压缩数据挖掘算法.pdfVIP

第 26 卷第 10 期 计 算 机 应 用 研 究 Vol. 26 No. 10 2009 年 10 月 Application Research of Computers Oct. 2009 一种高效的混合压缩数据挖掘算法 * 孙志长, 冯祖洪, 王沛栋 ( 北方民族大学 计算机科学与工程学院, 银川 750021) 摘 要: 针对基于垂直数据格式的关联规则挖掘算法在频繁项集查找过程中, 需要在内存中保存大量的事务标 志列表, 有限的内存容量将成为此类算法的最大瓶颈 , 提出了一种新的混合压缩算法— HC-DM 算法。实验结果 表明 , 将 HC-DM 算法与 dEclat 算法相结合, 再加上排序步骤, 可以显著减少频繁项集挖掘过程中的内存使用量。 关键词: 数据挖掘; 关联规则挖掘; 频繁项集挖掘 ; HC-DM 算法 中图分类号: TP311; TP301. 6 文献标志码: A 文章编号: 1001- 3695( 2009) 10- 3738- 05 doi: 10. 3969 /j. issn. 1001-3695. 2009. 10. 040 Efficient hybrid compression algorithm for data mining SUN Zhi-chang, FENG Zu-hong, WANG Pei-dong ( Institute of Computer Science Engineering, North Nationality University, Yinchuan 750021, China) Abstract: Vertical mining algorithms need lots of memory to hold the lists of transaction ids when enumerated all frequent itemsets, the limited memory’s capability maybe become the most bottlenecks. To solve this problem, presented a new hybrid compressing algorithm-HC-DM algorithm. Performance evaluations indicate that integrating this algorithm with dEclat and in- creasing the step of sorting can drastically cut down the size of memory required when enumerates all frequent itemsets. Key words: data mining; association rules mining; mining frequent items; HC-DM algorithm 关联规则挖掘是数据挖掘中的一个重要分支, 最初被应用 述 HIV 格式类似, 不同的是每行列出的是本次交易商品的标 于超市购物篮数据分析, 用来辅助市场营销、商品摆放、库存管 志号, 而不是“1”和“0 ”。 理和客户关系管理。除了购物篮数据分析外, 关联规则挖掘也 c) 垂直事务标志向量( vertical tid-vector, VTV) 。此种格式 被广泛地应用于其他领域, 如生物信息学、医疗诊断、网页挖掘 将数据库组织成列的形式。每列存储了商品的标志号和一系 和科学数据分析等。例如, 在地球科学数据分析中, 关联模式 列的位向量“1”和“0 ”。如果商品在某个事务中出现, 就在对 可以揭示海洋、陆地和大气过程之间的有趣联系。这样的信息 应的