第5章近邻法则和集群.ppt

Step 1 取 Step 2 分群 Step3 计算新的群心 Step4 判断 Step2 分群 Step 3 计算新的群心 Step ４　判断 Step ２　分群 Step ３　计算新的群心 Step ４　判断 因为 及 所以 算法收敛，分群结束。 C-均值算法的结果受到下列因素的影响: C个初始分群中心的选取； 与样本的选取次序有关； 与样本的几何分布有关； 与样本数量差异的大小有关；　 一般地，对于给定样本集，分群结果是唯一的吗？ 等级集群方法 　问题：当不知道要分成几群时，而要把一些未分类的样本分成若干合理的群时，如何做呢？ 　　在没有指定群数的情况下，n个样本至少可以分成一个群，这就是样本的全体；最多可以把它们分成n个群，每个群只有一个样本。 显然，这样的分群没有意义。 但是，我们可以由此考虑(n个群 一个群）的过程，这样，我们就可以把集群看作是一个把 n个样本聚集成 K个群的集群序列的结果。 反之，把(一个群 n个群），看做把n个样本划分成K个群的划分序列的结果。 　　　　　 这样，可以有两种产生序列的方法： １．凝聚法 　　从n个样本划分为n个群开始，每个群中只有一个样本，然后通过不断的合并而形成一个聚合的序列，最后凝聚成一个包含全部样本的大群。 这种方法效果比较好，容易实现，是经常使用的方法之一。 ２. 分解法　凝聚法的反方向 　　我们主要讨论凝聚法 　　这种等级集群方法可以表示成一棵分类树，来实现样本分群的过程。 聚类水平 高 相似度 相似聚类，用距离度量，距离可以有不同的度量方法，采用的类间距离不同，聚类过程是不一样的。 （1）近点距离法 （2）远点距离法 （3）平均法 （4）离差平方和法 关于近点距离法和远点距离法的性能请参考教材的87-89页的内容。 基于近点距离的等级集群算法步骤 对于样本集 ，设 表示第 次合并时的第 类 （1）初始分类，令 , ， （2）计算各类间的距离 ，由此生成一个对称的 距离矩阵 ， 为类的个数。 （初始时 ） （3）找出矩阵 中的最小元素，设它是 和 间的距离； 将 和 两类合并成一类，于是产生新的聚类 （4）检查类的个数，如果类数 大于 2，转(2)， 否则停止。 例 六个样本 按近点距离法分类 解： （1）初始时 按欧氏距离计算距离矩阵 0 0 0 0 0 0 （2） 中最小阵元为 ，它是 与 之间的距离，将它们合并为一类，得一新的聚类： 计算距离矩阵 0 0 0 0 0 重 新 编 号 注意：G1中有 两个元素，取 与G2近的 （3） 中最小阵元为 ，它是 与 之间的距离，将它们合并为一类，得一新的聚类： 计算合并后的距离矩阵 0 0 0 0 （4） 中最小阵元为 ，它是 与 之间的距离，将它们合并为一类，得一新的聚类 （5） 与 ， 与 距离相同，可依据其它因素将 与 或 与 合并成一类。当只有2类时停止。 0 0 0 计算距离矩阵 从上例可以看出，合并后的类到其它类的距离，可以使用距离递推公式，在 中找到值。 本章小结 1. 近邻法则的含义和判别函数是什么？ 已知样训练本集 ，这n个样本分别属于C个类别，如果与待识别模式X最近的样本为X’，则把X分到X’所属的类别。 判别函数可设计为