不确定数据频繁项挖掘地研究.pdfVIP

万方数据 摘 要 频繁项挖掘作为数据挖掘领域研究的重要主题之一，已被证实具有一定的理 论价值，并且在市场选择、决策支持和商务管理等方面得到广泛的应用。随着科 学理论和技术的发展，金融，传感器网络和医学等领域涌现大量不确定数据。简 单忽略数据的不确定性，应用传统算法挖掘频繁项产生的结果难以令人信服。近 年来，针对不确定数据的频繁项挖掘逐渐成为研究热点，大部分研究成果基于传 统频繁项挖掘算法改进，如U-Apriori算法、UF-growth算法等，性能勉强接受， 但有待深入研究。鉴于此，本文针对UF-growth算法和U-Apriori算法进行改进 和优化，进一步提高不确定数据中频繁项挖掘的效率。 针对UF-growth算法构造大量树结点和分枝的局限性，提出压缩UF-tree算 法，放宽构建树结构标准：不考虑数据项的存在概率，数据项名一旦与树结构中 对应结点匹配，共享该结点，否则，考虑从未匹配结点处开辟新分枝，当前数据 项及事务中其后的所有数据项作为结点有序地添加到新分枝中，事务中最后处理 的数据项对应的结点保存事务编号。借鉴概念格理论中的等价类关系产生候选 项，缩减遍历分枝的路径次数。构建概率向量结构，集中存储单项频繁项的存在 概率，结合事务编号集，利用点积运算统一处理所有候选项的支持度，经过支持 度约束过滤，产生所有频繁项。通过实验证明，与UF-growth算法相比，压缩 UF-tree算法效率更高。 针对U-Apriori算法多次遍历数据库的缺陷进行改进，结合Eclat算法思想， 提出UF-Eclat算法。将不确定数据项的存在概率进行抽离，保存在概率向量之 中。采用Eclat算法的深度优先搜索策略，以单项频繁项构建初始结点，同层兄 弟结点构成子数据库，利用概念格理论的等价关系，产生基于当前结点的原子项， 作为项集搜索树的下层结点，实现 项频繁项产生i (i1)项频繁项。在迭代过程 中，利用概率向量点积运算计算候选项的支持度，通过支持度约束过滤非频繁项， 使用Apriori性质对树分枝进行前修剪，抑制树结构的过度增长。通过实验证明， UF-Eclat算法结果与U-Apriori算法相同，性能比后者有所提升。 结合压缩UF-tree算法和UF-Eclat算法的工作机制，对两种算法进行对比， 并分析影响算法运行时间的主导因素。在不同性质的数据环境中，两者性能对比 的结果不同，压缩UF-tree算法效率与事务数量以及事务间的相似性紧密相关， 而UF-Eclat算法运行时间主要由属性数量和支持度阈值决定。 关键词：频繁项，压缩UF-tree算法，UF-Eclat算法，概率向量，数据挖掘 I 万方数据 Abstract As one of important topics in the field of data mining, frequentpattern mining has been shown to have theoretical value, which has been widely used in market selection, decision support and business management. With the progress of society anddevelopmentoftechnology,alargenumberofuncertaindataemergesinthefield as financial, sensornetwork andmedical science. Simplyignoringtheuncertainty of data an