一种基于多核微机的闭频繁项集挖掘算法.pdfVIP

第３０卷第３期　　　 计算机应用与软件 Ｖｏｌ３０Ｎｏ．３ ２０１３年３月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｍａｒ．２０１３ 一种基于多核微机的闭频繁项集挖掘算法 吴建章　韩立新　曾晓勤 （河海大学计算机与信息学院　江苏南京２１１１００） 摘　要　　随着数据量的增长，如何快速有效发现频繁项集已成为挖掘关联规则的核心问题，而并行计算和闭频繁项集分别是一种 处理大量数据直接有效的方法和频繁项集的无失真信息最小集合。分析一些经典闭频繁项集算法和并行关联规则算法及其不足， 提出一种基于多核微机的并行闭频繁项集挖掘算法，提高了闭频繁项集挖掘的效率。 关键词　　关联规则　闭频繁项集　概念格　数据划分　多核并行 中图分类号　ＴＰ３１１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１３．０３．０１２ ＡＦＲＥＱＵＥＮＴＣＬＯＳＥＤＩＴＥＭＳＥＴＭＩＮＩＮＧＡＬＧＯＲＩＴＨＭＢＡＳＥＤ ＯＮＭＵＬＴＩＣＯＲＥＣＯＭＰＵＴＥＲ ＷｕＪｉａｎｚｈａｎｇ　ＨａｎＬｉｘｉｎ　ＺｅｎｇＸｉａｏｑｉｎ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎ，ＨｏｈａｉＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１１１００，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｗｉｔｈｔｈｅｇｒｏｗｔｈｏｆｔｈｅａｍｏｕｎｔｏｆｄａｔａ，ｈｏｗｔｏｑｕｉｃｋｌｙａｎｄｅｆｆｉｃｉｅｎｔｌｙｆｉｎｄｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔｓｈａｓｂｅｃｏｍｅｔｈｅｃｏｒｅｉｓｓｕｅｏｆｍｉｎｉｎｇ ａｓｓｏｃｉａｔｉｏｎｒｕｌｅｓ，ｗｈｉｌｅｔｈｅｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇｉｓａｄｉｒｅｃｔａｎｄｅｆｆｅｃｔｉｖｅｗａｙｏｆｄｅａｌｉｎｇｗｉｔｈｌａｒｇｅａｍｏｕｎｔｓｏｆｄａｔａａｎｄｔｈｅｆｒｅｑｕｅｎｔｃｌｏｓｅｄｉｔｅｍ ｓｅｔｉｓｔｈｅｍｉｎｉｍａｌｓｅｔｏｆｔｈｅｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔｗｉｔｈｏｕｔｄｉｓｔｏｒｔｅｄｉｎｆｏｒｍａｔｉｏｎ．Ｔｈｉｓｐａｐｅｒａｎａｌｙｓｅｓｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｓｏｍｅｃｌａｓｓｉｃａｌｆｒｅｑｕｅｎｔ ｃｌｏｓｅｄｉｔｅｍｓｅｔａｌｇｏｒｉｔｈｍｓａｎｄｐａｒａｌｌｅｌａｓｓｏｃｉａｔｉｏｎｒｕｌｅａｌｇｏｒｉｔｈｍｓ，ａｎｄｐｒｏｐｏｓｅｓａｐａｒａｌｌｅｌｆｒｅｑｕｅｎｔｃｌｏｓｅｄｉｔｅｍｓｅｔｍｉｎｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎ ｍｕｌｔｉｃｏｒｅｃｏｍｐｕｔｅｒｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅａｌｇｏｒｉｔｈｍｅｆｆｉｃｉｅｎｃｙ． Ｋｅｙｗｏｒｄｓ　　Ａｓｓｏｃｉａｔｉｏｎｒｕｌｅ　Ｆｒｅｑｕｅｎｔｃｌｏｓｅｄｉｔｅｍｓｅｔ　Ｃｏｎｃｅｐｔｌａｔｔｉｃｅ　Ｄａｔａｐａｒｔｉｔｉｏｎｉｎｇ　Ｍｕｌｔｉｃｏｒｅｐａｒａｌｌｅｌ ０　引　言 １　闭频繁项集挖掘算法 随着互联网的不断发展及在各个领域的广泛应用，各种数 １．１　闭频繁项集 据成爆炸式的增长，在海量数据中自动提取代表知识的模式是 定义１　闭频繁项集　一个项集Ｘ是一个闭频繁项集，如 数据挖掘研究的主要内容。关联规则的挖掘是数据挖掘中一项 果Ｘ同时满足下面两个条件：（１）Ｘ是频繁的；（２）不存在Ｘ的 重要的基础技术，关联规则挖掘是用来发现大量数据中项集之 超集Ｙ（Ｘ Ｙ），使得ＳＵＰＰ（Ｘ）＝ＳＵＰＰ（Ｙ），ＳＵＰＰ（Ｘ）为项集Ｘ  间感兴趣的关联，而关联规则挖掘中最主要的步骤是挖掘频繁 的支持度。 项集，Ａｇｒａｗａｌ等人［１，２］