一种基于数学形态学的离群点检测算法论文.doc

硕士研究生学位论文 题目 一种基于数学形态学的离群点检测算法 An Outlier Detection Algorithm Based on Mathematical Morphology 摘要 数据挖掘是在海量的数据中提取隐含的、未知的、潜在有用的知识或信息模式的决策支持方法。在信息爆炸的今天，数据挖掘显得尤为重要。 一个人的噪声可能是另一个人的信号，忽视或降低离群点的存在性都将可能导致重要隐藏信息的丢失。在一些从数据库中发现知识 (KDD)的应用实践中，发掘特别的实例，不具备一般数据特性的数据对象或离群点比找出普通模式更加令人感兴趣。因此，离群点本身可能是非常重要的，例如在欺诈探测中，离群点可能预示着欺诈行为。总之，离群点检测是数据挖掘领域一个重要的研究方向。 本文在分析已有离群点算法的基础上，提出了一种基于数学形态学的离群点检测算法。该算法首次把数学形态学的理论引入到离群点检测中，采用启发式方法自动检测离群点，无论是点状、线状，还是各种复杂的面状(凸面形状、非凸面形状、环面形状等)数据集，算法都能正确和精确地找出离群点，而对于非均匀密度数据集、多密度的数据集，算法也同样地能找出离群点。算法考虑了离群点“局部”的概念。无论与怎样的方式输入感兴趣的数据，对算法确定离群点都没有任何影响。此外，由于使用的是启发式的方法检测，用户只需要输入感兴趣的数据作为输入，而无需输入其它参数即能自动确定出离群点。同时，该算法既适用于栅格系统又适用于矢量系统，且便于进行并行高速处理。 算法循环地用半径由小到大递增变化的圆形结构元对数据库中的各数据点作闭运算，具体地说是半径由0开始，以增幅为1进行变化，这一过程中非邻接点个数以不同速度逐渐减少，当半径为0时所有的数据点都为非邻接点，当半径增大到一定程度时，非邻接点个数为0。随着结构元半径的不断增大，找出非邻接点个数与半径之间存在的关系，最终检测出数据库中存在的离群点。 大量实验和理论分析表明该算法是可行的和有效的，能从数据库中正确并且精确无误地找出离群点。 关键词：数据挖掘，离群点检测，数学形态学，闭运算，非邻接点  ABSTRACT Data mining is a decision support approach that extracts hidden, unknown, potentially useful knowledge and pattern from huge volume of data. Information is growing at exponential rates and data mining is particularly important in the information age or digital age. Outlier detection is important areas in data mining. One’s noise is maybe one’s signal. For many KDD (Knowledge Discovery in Databases) applications, it is more interesting to find the exceptional instances or the outliers than to find the common pattern or knowledge. Therefore, outlier itself is perhaps very important. Outlier detection has important applications in the fields of credit-card fraud detection, monitoring criminal actives in E-commerce, network robustness analysis, intrusion detection, and even the analysis of performance statistics of professional athletes. To sum up, outlier detection is a very significant subject in data mining. In this paper, based on the analysis of existing outlier detection algorithms, a new algorithm of outlier detection that is called ODMM (an Outlier Detection algorithm based on M