第六 聚类分析.pptxVIP

聚类分析是依据样本间关联的量度标准将其自动分成几个群组，且使同一群组内的样本相似，而属于不同群组的样本相异的一组方法。聚类分析的一个附加的结果是对每个类的综合描述，这种结果对于更进一步深入分析数据集的特征是尤其重要。;6.1 聚类概念;例如：下表是一个简单聚类例子，包含了9个顾客的信息，分三类，两个特征值(数量,价格) 类1:购少量高价商品，类2：购大量的高价品，类3：购小量的低价商品。;聚类是一个非常难的问题,因为在一个n维的样本空间数据可以以不同的形状和大小揭示类。 下面基于欧几里得二维空间的聚类过程的一个示例。;上面数据可以分类三个类也可以分为四个类，类的数量的任意性是聚类过程中的主要问题。 另一方面，上面的类是能够直接观察到的。对于高维欧几里得空间里的一组点，就无法从视觉上观察到。 聚类分析输入可以用一组有序数对(X,s)或(X,d)表示。聚类系统的输出是一个分区∧={G1,G2,…,GN}，其中Gk(k=1,…,N)是X的子集。 G1,G2,…,GN称为类，每一个类用一些特征描述。聚类结果是类和它的特征或描述。;规范化的描述有以下几种图式： 1.通过它们的重心或类中关系远的（边界）点表示n维空间的一类点。 2. 使用聚类树中节点图形化地表示一个类。 3.使用样本属性的逻辑表达式表示类。;现有的用于数据挖掘的聚类方法分为四类:分割法,分层法,密度法和网格法。 分割聚类法一般是通过优化一个评价函数把数据分割成K个部分，主要有两种方法：K-means聚类法和K-medoid聚类法.K-means法在处理海量数据库方面很有效，特别是对数值属性处理。K-prototypes是结合K-means和K-modiod的优点，可以同时处理数值与符号属性和聚类法;分层聚类法是由不同层次的分割聚类组成，层次之间的分割具有嵌套关系。分层聚类法不必事先输入聚类块数K，基于模糊相似关系的模糊聚类属于这种聚类法。 密度聚类法是利用数据密度函数进行聚类。 网格聚法利用空间量子化方法把数据分到有限个单元进行聚类，这种方法效率高，与数据大小无关，仅与单元数有关。;值得注意的是：没有哪一种聚类技术对揭示多维数据集中的构造种类是普遍适用的。使用者对???题的理解和与其相应的数据类型是选择合适方法的最好标准，大多数聚类算法基于下面两种常见方法： 　1.层次聚类 2.迭代的平方误差分区聚类 层次方法按群组的嵌套顺序组织数据，以树状图或树形结构来表示。 平方误差分区算法试图得到一个使类内分散最小而类间分散最大的分区。它是非层次的。;6.2 相似度的度量;Pj可以是二元类型，整型，实数，或某一特征的一组分类。 例如Pj是一组颜色： Pj ={白,黑,红,蓝,绿}。 由于相似度是定义一个聚类的基础，因此在聚类分析中有必要建立同一特征空间中的两种模式的相似度的度量标准。而且聚类分析过程的质量取决于对度量标准的选择。 一般地，不是计算两个样本间的相似度，而是用特征空间中的距离作为度量标准计算两个样本间的相异度。;聚类中的“相似度”意味着当x和x’是两个相似样本时，s(x,x’)的取值是很大的，当x和x’不相似时，s(x,x’)的取值是很小的。而且，相似度的度量标准S具有自反性： 　　　　s(x.x’)=s(x.x’) 对于大多数聚类方法，相似度的度量可以标准化为： 　　 0≤s(x,x’)≤1 相异度的度量标准用d(x,x’)来表示。通常称相异度为距离。当x和x’相似时,d很小，当x和x’不相似时，d很大。而且d0，d(x,x’)=d(x’,x)，d(x,x’’)≤d(x,x’)+d(x’,x’’);距离度量标准的算式： 1.欧氏距离： 2.L1距离或城区距离： 3.明考斯基距离： 显然,p=1时(3)与(2)距离一样;p=2时(3)与(1)距离一样。;欧氏 n维空间模型不仅给出了欧氏距离，还给出另外的相似度度量标准，余弦相关就是其中之一： 则有：当xi=λ·xj，λ0时 scos(xi,xj)=1; 当xi=λ·xj，λ0时 scos(xi,xj)=-1 例如：对于一个四维向量x1={1,0,1,0},x2={2,1,-3,-1} scos(xi,xj)=(2+0+3+0)/(21/2·151/2)=-0.18。;由于样本中的特征可能包含一些或全部不连续值，这种情况不可能采用上面距离度量标准。实际上，对于异类样本的不同特征使用不同的距离度量标准。下面介绍一个可行的二元类型数据的距离度量标准。 假定,每一个样本都由n维向量xi表示,该向量xi由一个二类型数值组成。两个样本xi和xj间的距离量度标准计算方法是：;第一步：构造样本xi和xj的2×2列联表:;例如：xi={0,0,1