第5章聚类方法(new)(免费阅读).pptVIP

Data Mining: Concepts and Techniques 聚类分析在数据挖掘中的应用分析 聚类在数据挖掘中的典型应用有： 聚类分析可以作为其它算法的预处理步骤：利用聚类进行数据预处理，可以获得数据的基本概况，在此基础上进行特征抽取或分类就可以提高精确度和挖掘效率。也可将聚类结果用于进一步关联分析，以获得进一步的有用信息。 可以作为一个独立的工具来获得数据的分布情况：聚类分析是获得数据分布情况的有效方法。通过观察聚类得到的每个簇的特点，可以集中对特定的某些簇作进一步分析。这在诸如市场细分、目标顾客定位、业绩估评、生物种群划分等方面具有广阔的应用前景。 聚类分析可以完成孤立点挖掘：许多数据挖掘算法试图使孤立点影响最小化，或者排除它们。然而孤立点本身可能是非常有用的。如在欺诈探测中，孤立点可能预示着欺诈行为的存在。 聚类概念 定义 5-1 聚类分析的输入可以用一组有序对(X, s) 或(X, d)表示，这里X表示一组样本，s和d分别是度量样本间相似度或相异度（距离）的标准。聚类系统的输出是一个分区若C={C1, C2,…, Ck}，其中Ci(i=1,2….,K)是X的子集，且满足： C中的成员C1, C2,…, Ck叫做类或簇（Cluster），每一个类或簇都是通过一些特征描述的，通常有如下表示方式： 通过它们的中心或类的边界点表示一个类; 使用聚类树中的结点图形化地表示一个类; 使用样本属性的逻辑表达式表示类。 用中心表示一个类是最常见的方式，当类是紧密的或各向同性时用这种方法非常好，然而，当类是伸长的或各向分布异性时，这种方式就不能正确地表示它们了。 聚类分析的目标 聚类分析的目标就是形成的数据簇，且满足两个条件： 一个簇内的数据尽量相似（high intra-class similarity）； 不同簇的数据尽量不相似（low inter-class similarity）。 衡量一个聚类分析算法质量，依靠： 相似度测量机制是否合适。 是否能发现数据背后潜在的、手工难以发现的类知识。 聚类分析方法的分类 按照聚类的标准，聚类方法可分为如下两种： 统计聚类方法：这种聚类方法主要基于对象之间的几何距离的。 概念聚类方法：概念聚类方法基于对象具有的概念进行聚类。 按聚类算法所处理的数据类型，聚类方法可分为三种： 数值型数据聚类方法：所分析的数据的属性只限于数值数据。 离散型数据聚类方法：所分析的数据的属性只限于离散型数据。 混合型数据聚类方法：能同时处理数值和离散数据。 按照聚类的尺度，聚类方法可被分为以下三种： 基于距离的聚类算法：用各式各样的距离来衡量数据对象之间的相似度，如k-means、k-medoids、BIRCH、CURE等算法。 基于密度的聚类算法：相对于基于距离的聚类算法，基于密度的聚类方法主要是依据合适的密度函数等。 基于互连性(Linkage-Based)的聚类算法：通常基于图或超图模型。高度连通的数据聚为一类。 按照聚类分析算法的主要思路，可被归纳为如下几种。 划分法（Partitioning Methods）：基于一定标准构建数据的划分。 属于该类的聚类方法：k-means、k-modes、k-prototypes、k-medoids、PAM、CLARA、CLARANS等。 层次法（Hierarchical Methods）：对给定数据对象集合进行层次的分解。 密度法（density-based Methods）：基于数据对象的相连密度评价。 网格法（Grid-based Methods）将数据空间划分为有限个单元（Cell）的网格结构，基于网格结构进行聚类。 模型法（Model-Based Methods）：给每一个簇假定一个模型，然后去寻找能够很好的满足这个模型的数据集。 距离与相似性度量 距离函数（两个样本的距离） 按照距离公理，在定义距离测度时需要满足距离公理的四个条件:自相似性、最小性、对称性以及三角不等性。 常用的距离函数有如下几种： 明可夫斯基距离（Minkowski） 二次型距离（Quadratic） 余弦距离 二元特征样本的距离度量 明可夫斯基（Minkowski）距离 二次型距离 余弦距离 二元特征样本的距离度量 类间距离 类间距离 主要思想 定义 5-2 给定一个有n个对象的数据集，划分聚类技术将构造数据k个划分，每一个划分就代表一个簇，k? n。也就是说，它将数据划分为k个簇，而且这k个划分满足下列条件： 每一个簇至少包含一个对象。 每一个对象属于且仅属于一个簇。 对于给定的k，算法首先给出一个初始的划分方法，以后通过反复迭代的方法改变划分，使得每一次改进之后的划分方案都较前一次更好。即同一簇中的对象越近越好，不同簇中的对象越远越好。 评价函数