关联规则并行采掘算法的分析-计算机应用技术专业论文.docxVIP

⑧ ⑧ 硕士学位论丈 MASl ER’S 11IESIS 摘 要 随着信息技术的迅猛发展，各个部门积累了海量数据，迫切要求从这些数 据中自动地采掘有价值的信息和知识以支持决策。于是数据采掘技术应运而 生。关联规则采掘是数据采掘中的一个重要分支，也是目前应用最广泛的一种 数据采掘类型。 目前传统的关联规则采掘技术大多采用串行算法，例如Level—wise算法、 non．1evel—wise算法以及不产生候选项目集的算法，其中R．Agrawal等人提出的 Apriori算法是处理事务数据库中大项目集较为有效的算法。这些算法总的来 说，都需要对数据库作多遍重复扫描，降低了采掘效率，不能满足大数据库的 要求。随着分布式数据库的发展，提出了采掘关联规则更有效的并行算法，如 Level—wise并行模式，DMA并行模式等，明显地提高了采掘效率。其中pSPADE 算法是一种广泛应用于大型数据库上快速采掘频繁序列的有效并行算法，它将 搜索空间分成了更小的基于后缀的类，可在每个处理器上独立地处理，实现了 数据的本地性最大化和同步的最小化。 本文通过对pSPADE算法的研究，发现算法执行中，处理器将所有的类和它 的中问id列表存于主存，导致了大量的内存开销。当处理更大的数据集时， 容易产生内存不足而溢出。本文根据搜索算法内存管理的思想，提出了一种内 存扩展方案来解决这一问题。在内存不足和获得足够内存两种情况下，把部分 类写入磁盘，释放了内存空间，缓解了内存的压力。在程序需要时，再将写入 磁盘的类加入共享队列作为多余的类处理。本文通过对这种方案的分析，指出 了它的优缺点和适用范围。 关键词：KDD数据采掘 关联规则 分布式数据库并行算法 AbstractWith Abstract With the rapid development of information technology,large amounts of data have accumulated in all kinds of departments．It becomes more and more urgent to mine useful information and knowledge automatically to support the strategies．The technology of data mining emerges，as the times require．Association Rule Mining is an important branch of data mining．and becomes one of the widest applied data mining styles． However,the traditonal Association Rule Mining most adopted serial algorithms，such as level—wise algorithms，non—level-wise algorithms and algorithms that do not generate candidates．Apriori algorithm is more efficient one to deal with large itemsets in transaction database among these algorithms．But all the serial algorithms can not avoid scanning database repeatly,which reduces the efficiency of mining and has no ability to meet the need of large database．With the development of distributed database，some parallel formulations appear to prunning rules such as level—wise，DMA，and FMA，which improve the efficiency dramatiely pSPADE，one of parallel algorithms for fast discovery of frequent sequences in large databases，decomposes the original search space into smaller suffix—based classes which can be solved independently on each processon