海量数据库中的小模式发现-计算机软件与理论专业论文.docxVIP

海量数据库中的小模式发现 海量数据库中的小模式发现 摘要 摘要 随着信息时代的到来，科学研究、商业、行政等事务逐步计算机化，作为全 球信息系统的万维网开始流行，数据呈爆炸性增长，我们已经被淹没在了数据和 信息的汪洋大海中。作为大规模数据处理和决策支持的关键步骤之一，数据挖掘 受到了人们的广泛关注。小模式发现是数据挖掘中一个非常重要的研究课题，其 研究重点是有效高效地从大量复杂数据中获得小部分数据呈现的异常信息。 本文归纳了海量数据库中小模式发现的研究现状及热点问题，并在此基础上 分别对例外规则和离群点展开了研究和探索，提出了自己的定义，同时给出了适 合于大规模复杂数据集的挖掘算法。 具体地说，本文的贡献如下： 1．提出了一种快速有效的例外规则挖掘算法。该算法预先去除了类关联规 则中大量的虚假规则，减少了计算量。它不需要进行偏移量计算，避免 了偏移阈值取值不当的问题，能够找到所有的例外规则。由于例外规则 与有用的关联规则成对出现，用户对挖掘结果的理解更加简单直观。 2．提出了一种基于超图的高维数据的离群点检测算法。该算法根据频繁项 集来确定相对稠密的子空间，部分克服了维度灾难和组合爆炸问题，并 很好地体现了离群点的局部性。同时，该算法避免了传统的基于距离的 相似度计算，因此能够处理种属属性的数据和属性缺失的数据。实验和 分析表明，该算法能够快速有效地发现高维数据中的离群点。 3．提出了一种基于估计的子空间局部离群点检测算法。该算法针对基于距 离的离群点检测算法效率低下的问题，提出了根据高维离群系数估计低 维离群系数的技术，预先过滤掉大量不可能成为离群点的对象，极大地 提高了算法的效率。由于吸收了局部离群点发现和子空间数据处理的优 点，该算法能够找到所有子空间中的局部离群点。 关键词：数据挖掘，小模式，例外规则，离群点 海量数据库中的小模式发现Abstract 海量数据库中的小模式发现 Abstract W吼the coming of information age，scientific，business and government transactions are gradually computerized，and World—Wide Web is popularized as a global information system．The explosive growth of data has flooded US with a tremendous amotmt of information．As one of the key steps of large—scale data processing and decision support，data mining has attracted a great deai of attention． Small pattern discovery is a significant research topic in this field，which focuses on finding abnormal information applicable to a small portion of data from large， complex data set effectively and efficiently． After providing a survey of current research and problems on small paaem discovery,this thesis digs into the study of exception rule and outlier,respectively．It proposes its own definitions and algorithms for large amount，complex data sets． The contribution ofthis thesis is summarized as follows： 1．An efficient and eriective exception rule mining algorithm iS presented．It reduces the computational complexity greatly by pruning spurious classification association rules in advance．Deviation computation iS not necessary in the algorithm，SO it Call find all exception rules exempted fro