模式识别导论本(四).ppt

三、K 均值算法 以上算法是逐一搜索确定聚类中心，下面介绍的，则是首先确定若干初始聚类中心，然后依一定算法改变或调整这些中心，使它们逐步趋于合理 K均值算法要求各类样本到聚类中心的距离平方和最小，它是在误差平方和准则的基础上建立起来的 （1）任选K个初始聚类中心 一般以开头K个样本作为初始中心 （2）逐个将模式样本集 的每一样本按最小距离原则分配给K个聚类中心，形成K个类群，即在第m次迭代时，若 则 ，这里 表示第m次迭代时，以第j个聚类中心为代表的聚类域。 （3）由（2），计算新的聚类中心，即 式中 为第 个聚类域 中的样本个数。其均值向量作为新的聚类中心，因为这样可以使误差平方和准则函数 达到最小值 （4）若 算法收敛，计算完毕。否则回到（2），进行下一次迭代。 例2 图4-3-3所示为二维模式样本的分布，现用K均值算法分类 第一步： 取K=2，令 第二步 第三步： 计算新的聚类中心 第四步： 故回到第二步 (第二轮）第二步：按新的聚类中心分类，有 (第二轮）第三步：计算聚类中心 第四步：因 回到第二步 （第三轮）第二步：求得 第三步：聚类中心与前一次迭代结果相同 第四步：因 故算法收敛 与初始聚类中心的确定有关 模式识别导论 武汉大学遥感信息工程学院 马洪超 第四讲 聚 类 分 析 按距离聚类的概念 模式相似性测度与聚类准则 聚类算法 对聚类的评价 An old Chinese saying: 物以类聚，人以群分 引言 没有训练样本存在，属于非监督分类。目的是将一批数据（模式）组成一些“有意义”的集合（聚类） 这个思想在生物学、社会学、医学、地球科学等学科都是很常见的 下面举一个生物学中的例子：设我们有下列动物：羊，狗，猫，麻雀，海鸥，小毒蛇，金鱼，红色mullet（一种小海鱼，可以吃），蓝色鲨鱼和青蛙。为将它们分成不同的类别，我们需要一定的准则。如果我们不同的准则来聚类，可以形成不同的结果，如下面所示 羊、狗、 猫、鲨鱼 麻雀、海鸥、小 毒蛇、金鱼、 青蛙、红mullet 以产后代的方式分 金鱼、红mullet、 鲨鱼 羊、麻雀、狗、海鸥 ………… 以肺是否存在分 金鱼、红mullet、 鲨鱼 羊、麻雀、 狗、海鸥 ………… 青蛙 以生活环境分 麻雀、青蛙、 海鸥、小毒蛇 羊、狗、 猫 鲨鱼 金鱼、 红mullet 以产后代的方式和是否有肺联合标准来分 这个例子说明两个问题：聚类在生物分类中很常见，不同的准则结果有很大的差别 人类总是将获取的信息在聚类，否则，不可能处理每个信息。然后根据每个类的共同特征来表征这个类。比如当我们看见草地上一条狗的时候，我们会推断它的叫声，因为狗叫声作是一个共同特征 聚类过程如下： 特征的选择 相似性度量 聚类准则 聚类算法 聚类评价 聚类结果的解译 按距离聚类的概念 所谓聚类分析就是根据模式的特征空间分布，按点间距离的大小确定其相似程度，进而进行归类工作的，一般说来，可以认为每类模式都聚集在一个有代表性的或典型的模式周围，这个有代表性的模式称为聚类中心，或称为标准模式 若有M个类别 其标准模式分别为 ，任一模式x与第 类标准模式间的距离表示为 聚类分析就是按照这种距离函数（或者更加广义的相似性度量）来进行归类处理，由于以最小距离为准则，故可以认为聚类分析的分类器是最小距离分类器 ？？ 不考虑无关项，上面的式子可以转化为： 设模式特征空间为n维空间，即有 可见最小距离分类器是线性分类器的特殊情况 模式相似性测度与聚类准则 同一类模式的特征数据都是相近的或相同的，这一性质称为模式的相似性。这种相似性用什么公式来表达，也就相似性测度问题。式（4-1-1）是用距离函数来表示对相似性的度量，它是一种常用的测度。一般用于模式识别的相似性测度有如下几种 （1）明氏（Minkowaski）距离 n维模式向量 与 之间的明氏距离为 称为“城市街坊距离”（“city block” distance）。 当m=2时，即式（4-1-1），它又称为欧氏距离。 当 时，称为切比雪夫距离 （2）马氏（Mahalanobis）距离 第一类 第二类 其中m为均值向量，C 为协方差矩阵 欧氏距离和马氏距离之间的差别： 欧氏距离来说应该是属于第一类 例子：二维两类问题，设都服从正态分布，协方差矩阵一样 计算向量 到这两类的欧氏距离和马氏距离 可见，给定的向量和第一类的中心比较近。但如果从欧氏距离类