模式识别第一章Clustering.ppt

第一章 聚类分析;（1）相似性和距离聚类： 模式之间具有一定的相似性，这既表现在实物的显著特征上，也表现在经过抽象以后特征空间内的特征向量的分布状态上。 一个样本的特征向量相当于特征空间中的一点，整个模式样本集合的特征向量可以看成特征空间的一些点，点之间的距离函数可以作为模式相似性的度量，并以此作为模式的分类依据。;§1.1距离聚类的概念 ; 把整个模式样本集的特征向量看成是分布在特征空间中的一些点，点与点之间的距离即可作为模式相似性的测量依据。 聚类分析是按不同对象之间的差异，根据距离函数的规律（大小）进行模式分类的。;§1.1距离聚类的概念;§1.1距离聚类的概念 ;§1.1距离聚类的概念;§1.1距离聚类的概念;量纲对分类的影响（图例）;§1.1距离聚类的概念;§1.2 模式相似性的测度和聚类准则 ;当m＝2时，明氏距离就是欧氏距离， 当m＝1时，就是街坊或绝对（city block)距离 ;（3）马氏距离 它表征了模式向量X与其均值向量m之间的距离平方，C是模式总体的协方差，马氏距离将协方差考虑进来，排除了样本之间的相关性。当协方差为单位矩阵时，马氏距离和欧氏距离相同。马氏距离与欧氏距离相比，就中间多了一项。;（4）角度相似性函数 ;（5） Tanimoto测度 ;;1.2.2 聚类准则的确定方法;（2）聚类准则函数法;;§1.3 基于试探的聚类搜索算法;1.3.1 按最邻近规则的试探法 ;1.3.1 按最邻近规则的试探法;1.3.1 按最邻近规则的试探法;1.3.2 最大最小距离算法 ;1.3.2 最大最小距离算法;;;;§1.4 系统聚类分类法 ;§1.4 系统聚类分类法(续);重心法 类平均距离 递推公式： ………… 距离不同，则结果可能不同 ;§1.4 系统聚类分类法(续);§1.4 系统聚类分类法(续);Step2 :合并距离最小的两类，产生新的距离矩阵 说明：距离矩阵中选择距离最小的，如果有相同的可以任选其中一个，要忽略对角线上的元素。 ;Step3 ：继续合并，计算新的距离矩阵 说明：合并类的距离计算 应该符合距离的运算 规则。如，距离反映 的是两类的重心距离， 那么合并后，应该仍然 反映??重心的距离。 Step4：继续合并，直到收敛 说明：算法的收敛条件判断准则的确定。 ;§ 1.4 系统聚类法(续);§1.5 动态聚类分类法 ;1.5.1 C－均值算法;1.5.1 C－均值算法;1.5.1 C-均值算法;1.5.1 C－均值算法;1.5.1 C-均值算法;1.5.1 C-均值算法;1.5.2 ISODATA算法;1.5.2 ISODATA算法;1.5.2 ISODATA算法;1.5.2 ISODATA算法;;1.5.3 基于核的动态聚类方法;1.6 聚类结果的评价;编程实验一：C均值的系统聚类;作业:;