第5章 节 聚类方法(new) 数据挖掘课件.pptVIP

聚类方法概述 划分聚类方法 层次聚类方法 密度聚类方法 其它聚类方法 ;聚类分析研究概述;聚类分析源于许多研究领域，包括数据挖掘、统计学、机器学习、模式识别等。作为数据挖掘中的一个功能，聚类分析能获得数据分布的情况，并且概括出每个簇的特点，或者集中注意力对特定的某些簇做进一步的分析。 数据挖掘技术的一个突出的特点是处理巨大的、复杂的数据集，这对聚类分析技术提出了特殊的挑战，要求算法具有可伸缩性、处理不同类型属性的能力、发现任意形状的类、处理高维数据的能力等。根据潜在的各项应用，数据挖掘对聚类分析方法提出了不同要求。;聚类分析在数据挖掘中的应用分析;聚类概念;按照聚类的尺度，聚类方法可被分为以下三种： 基于距离的聚类算法：用各式各样的距离来衡量数据对象之间的相似度，如k-means、k-medoids、BIRCH、CURE等算法。 基于密度的聚类算法：相对于基于距离的聚类算法，基于密度的聚类方法主要是依据合适的密度函数等。 基于互连性(Linkage-Based)的聚类算法：通常基于图或超图模型。高度连通的数据聚为一类。 ;按照聚类聚类分析算法的主要思路，可被归纳为如下几种。 划分法（Partitioning Methods）：基于一定标准构建数据的划分。 属于该类的聚类方法：k-means、k-modes、k-prototypes、k-medoids、PAM、CLARA、CLARANS等。 层次法（Hierarchical Methods）：对给定数据对象集合进行层次的分解。 密度法（density-based Methods）：基于数据对象的相连密度评价。 网格法（Grid-based Methods）将数据空间划分为有限个单元（Cell）的网格结构，基于网格结构进行聚类。 模型法（Model-Based Methods）：给每一个簇假定一个模型，然后去寻找能够很好的满足这个模型的数据集。 ;距离与相似性度量;距离函数（两个样本的距离）;明可夫斯基（Minkowski）距离;二次型距离;余弦距离;二元特征样本的距离度量;a是样本x和y中满足xi=yi=1的二元类型属性的数量； b是样本x和y中满足 xi=1，yi=1的二元类型属性的数量； c是样本x和y中满足xi=0，且yi=1的二元类型属性的数量； d是样本x和y中满足和xi=yi=0的二元类型属性的数量； 简单匹配系数（Simple Match Coefficient,SMC） Jaccard系数 Rao系数;类间距离;最长距离法：定义两个类中最远的两个元素间的距离为类间距离。 中心法：定义两类的两个中心间的距离为类间距离。首先定义类中心，而后给出类间距离。 假如Ci是一个聚类，x是Ci内的一个数据点，即x∈ Ci，那么类中心 定义为： 其中，nk是第k个聚类中的点数。则Ca和Cb的类间距离： ra和rb是类Ca和Cb的中心点，d是某种形式的距离公式。;类间距离;主要思想;评价函数; 类间差异：衡量不同聚类之间的距离，类间差异定义为聚类中心间的距离，例如， 聚类的总体质量可被定义为w(C)和b(C)的一个单调组合，比如w(C) / b(C) 。 下面讨论k-平均算法：用类内的均值作为聚类中心、用欧氏距离定义d并使用w(C) 最小化来搜索测量值x在欧氏空间中的聚类C。;k-平均算法;k-平均算法描述：算法5-1 k-means算法输入：簇的数目k和包含n个对象的数据库。输出：k个簇，使平方误差准则最小。（1)assign initial value for means; /*任意选择k个对象作为 初始的簇中心；*/ (2) REPEAT (3) FOR j=1 to n DO assign each xj to the closest clusters; (4) FOR i=1 to k DO / *更新簇平均值*/ (5) Compute /*计算准则函数E*/ (6) UNTIL E不再明显地发生变化。;k-means算法例子;k-means例子;k-means算法的性能分析;k-means的几种改进方法;PAM算法;为判定一个非代表对象Oh是否是当前一个代表对象Oi的好的替代，对每一个非中心点对象Oj，下面的四种情况被考虑： 第一种情况：Oj当前隶属于中心点对象Oi。如果Oi被Oh所代替作为中心点，且Oj离一个Om最近，i≠m，那么Oj被