数据挖掘算法地改进及其在Chord网络中地应用.docVIP

数据挖掘算法的改进及其在Chord网络中的应用 摘 要:为了提高数据挖掘算法的效率以及chord资源定位的速度，引入条件模式以及深度优先的策略改进数据挖掘算法，并将改进后的数据挖掘算法应用到chord网络的路由表中，通过删除无效或使用频率极低的路由和增加相关路由信息的方法，加速资源定位过程。最终性能比较实验表明，数据挖掘改进算法不仅体现了优越的算法性能，同时通过挖掘chord网络的关联规则，有效地提升了系统的资源定位性能。 关键词:数据挖掘；资源定位；定位机制；频繁项目集；路由信息 中图分类号: tp311.131 文献标志码:a  abstract: to improve the efficiency of data mining algorithms and the speed of chord resource location, the paper optimized the data mining algorithm by introducing the conditional model and the depth-first strategy, and then applied the data mining algorithm in the chord network routing table. the paper speeded up the process of resource location by deleting the routing information of invalid or low frequency use, and adding the relevant routing information. finally, the performance comparison experiments show that the improved data mining algorithm reflects the superior performance, and effectively improves the positioning performance of the systems resources by mining the association rules of the chord network. key words: data mining; resource location; location mechanism; frequent item set; routing information 0 引言 网络中数据资源分布在各个独立的节点上，如何高效地索引、查找、定位以及访问这些数据信息资源是一个重要的问题，在分布式系统中这些问题同样也是正在研究的热点问题。本文主要研究优化后的数据挖掘技术在网络chord定位中的应用。因为网络在运行的过程中会产生大量的访问日志数据，而数据挖掘技术可以从海量的数据中挖掘出有用的知识，利用从这些日志数据中挖掘出的规则来指导网络的运行，可以改善网络在chord定位速度方面的性能。 1 数据挖掘算法的分析与改进 1.1 问题的提出 关联规则挖掘是数据挖掘技术中的一个重要研究领域，apriori算法一直作为经典的关联规则挖掘算法被引用。apriori算法的实现过程比较简单，但是每次生成含有不同项目数的候选集时都要扫描数据库，当候选集规模较大时，该算法在时间上的开销就会比较大［1］。另外由于事务数据库中的数据在不断地增加，每次增加数据后，apriori算法计算频繁项目集和生成关联规则这两项工作必须针对增加新数据后的数据库重新做起，这意味着以前生成的频繁项目集和关联规则都没用了，这显然不利于快速高效地发现关联规则［2］。再有当数据库的规模超出主存的容量时，该算法效率较低，不足也就明显体现。 频繁模式树(frequent pattern tree, fp-tree)算法采用了一种fp growth的方法。它采用了分而治之的策略：在对数据库进行第一次扫描后，把找到的频繁集压缩进一棵fp-tree，同时依然保留其中的关联信息。随后再将fp-tree分化成一些条件库，然后再对这些条件库分别进行挖掘。fp growth方法挖掘过程中将会产生所有的频繁项集,当数据集中包含大量频繁项集时，fp-tree算法性能较差,而且大量的cpu时间被fp-tree遍历占用［3-4］。 本文在apriori算法及fp-tree算法的基础上，提出了一种有效且快速发现最大频繁项目集的算法——基于条件模式的最大频繁项集的挖掘算法。它一方面引入条件模式，很好地达到了压缩事务数据库的目的；另一方面充分利用了挖掘技术