武汉大学_模式识别_第二讲 聚类分析.ppt

第二章 聚类分析 第二章 聚类分析 2.1 聚类分析的相关概念 2.2 模式相似性的测度和聚类准则 2.3 基于试探的聚类搜索算法 2.4 系统聚类法 2.5 动态聚类法 2.6 聚类结果的评价 2.1 聚类分析的相关概念 定义 对一批没有标出类别的模式样本集，按照样本之间的相似程度分类，相似的归为一类，不相似的归为另一类，这种分类称为聚类分析，也称为无监督分类。 2.1 聚类分析的相关概念 模式相似/分类的依据 把整个模式样本集的特征向量看成是分布在特征空间中的一些点，点与点之间的距离即可作为模式相似性的测量依据。 聚类分析是按不同对象之间的差异，根据距离函数的规律（大小）进行模式分类的。 2.1 聚类分析的相关概念 聚类分析的有效性 聚类分析方法是否有效，与模式特征向量的分布形式有很大关系。 若向量点的分布是一群一群的，同一群样本密集（距离很近），不同群样本距离很远，则很容易聚类； 若样本集的向量分布聚成一团，不同群的样本混在一起，则很难分类； 对具体对象做聚类分析的关键是选取合适的特征。特征选取得好，向量分布容易区分，选取得不好，向量分布很难分开。 2.1 聚类分析的相关概念 两类模式分类的实例：一摊黑白围棋子 选颜色作为特征进行分类，用“1”代表白，“0”代表黑，则很容易分类； 选大小作为特征进行分类，则白子和黑子的特征相同，不能分类（把白子和黑子分开）。 2.1 聚类分析的相关概念 特征选择的维数 在特征选择中往往会选择一些多余的特征，它增加了维数，从而增加了聚类分析的复杂度，但对模式分类却没有提供多少有用的信息。在这种情况下，需要去掉相关程度过高的特征（进行降维处理）。 降维方法 如果第i维特征与第j维特征所反映的特征规律接近，因此可以略去其中的一个特征，或将它们合并为一个特征，从而使维数降低一维。 2.1 聚类分析的相关概念 模式对象特征测量的数字化 计算机只能处理离散的数值，因此根据识别对象的不同，要进行不同的数据化处理。 连续量的量化：用连续量来度量的特性，如长度、重量、面积等等，仅需取其量化值； 量级的数量化：度量时不需要详尽的数值，而是相应地划分成一些有次序的量化等级的值。 名义尺度：指定性的指标，即特征度量时没有数量关系，也没有明显的次序关系，如黑色和白色的关系，男性和女性的关系等，都可将它们分别用“0”和“1”来表示。 超过2个状态时，可用多个数值表示。 2.2 模式相似性的测度和聚类准则 2.2.1 相似性测度 目的：为了能将模式集划分成不同的类别，必须定义一种相似性的测度，来度量同一类样本间的类似性和不属于同一类样本间的差异性。 欧氏距离 量纲对分类的影响（下页图例） 马氏距离 特点：排除了模式样本之间的相关性 问题：协方差矩阵在实际应用中难以计算 一般化的明氏距离 角度相似性函数 特点：反映了几何上相似形的特征，对于坐标系的旋转、放大和缩小等变化是不变的。 量纲对分类的影响（图例） 2.2 模式相似性的测度和聚类准则 2.2.2 聚类准则 有了模式的相似性测度，还需要一种基于数值的聚类准则，能将相似的模式样本分在同一类，相异的模式样本分在不同的类。 试探方法 聚类准则函数法 2.2 模式相似性的测度和聚类准则 2.2.2 聚类准则 试探方法 凭直观感觉或经验，针对实际问题定义一种相似性测度的阈值，然后按最近邻规则指定某些模式样本属于某一个聚类类别。 例如对欧氏距离，它反映了样本间的近邻性，但将一个样本分到不同类别中的哪一个时，还必须规定一个距离测度的阈值作为聚类的判别准则。 2.2 模式相似性的测度和聚类准则 2.2.2 聚类准则 聚类准则函数法 依据：由于聚类是将样本进行分类以使类别间可分离性为最大，因此聚类准则应是反映类别间相似性或分离性的函数； 由于类别是由一个个样本组成的，因此一般来说类别的可分离性和样本的可分离性是直接相关的； 可以定义聚类准则函数为模式样本集{x}和模式类别{Sj, j=1,2,…,c}的函数，从而使聚类分析转化为寻找准则函数极值的最优化问题。 2.2 模式相似性的测度和聚类准则 2.2.2 聚类准则 聚类准则函数法 一种聚类准则函数J的定义 J代表了属于c个聚类类别的全部模式样本与其相应类别模式均值之间的误差平方和。 对于不同的聚类形式，J值是不同的。 目的：求取使J值达到最小的聚类形式。 2.3 基于试探的聚类搜索算法 2.3.1 按最近邻规则的简单试探法 算法 讨论 这种方法的优点：计算简单，若模式样本的集合分布的先验知识已知，则可通过选取正确的阈值和起始点，以及确定样本的选取次序等获得较好的聚类结果。 2.3 基于试探的聚类搜索算法 2.3.1 按最近邻规则的简单试探法 讨论（续） 在实际中，对于高维模式样本很难