第6课聚类分析算法.pptVIP

6、若合并的类数没有达到要求，转3。否则停止。 3、求最小元素： 4、ω8,ω5,ω2合并, ω9=（2,5,4,6） * 5·4 聚类的算法 5.4.1 聚类的技术方案 聚类分析有很多具体的算法,有的比较简单,有的相对复杂和完善,但归纳起来就是三大类: 1、按最小距离原则简单聚类方法 2、按最小距离原则进行两类合并的方法 3、依据准则函数动态聚类方法 (1) 简单聚类方法 针对具体问题确定相似性阈值，将模式到各聚类中心间的距离与阈值比较，当大于阈值时该模式就作为另一类的类心，小于阈值时按最小距离原则将其分划到某一类中。 这类算法运行中模式的类别及类的中心一旦确定将不会改变。 首先视各模式自成一类,然后将距离最小的两类合并成一类,不断地重复这个过程，直到成为两类为止。 (2) 按最小距离原则进行两类合并的方法 这类算法运行中，类心不断地修正，但模式类别一旦指定后就不再改变，就是模式一旦划为一类后就不再被分划开，这类算法也称为谱系聚类法。 (3) 依据准则函数动态聚类法 设定一些分类的控制参数，定义一个能表征聚类结果优劣的准则函数，聚类过程就是使准则函数取极值的优化过程。 算法运行中，类心不断地修正，各模式的类别的指定也不断地更改。这类方法有—C均值法、ISODATA法等。 5·4 聚类的算法--简单聚类方法 这类算法的突出优点是算法简单。但聚类过程中，类的中心一旦确定将不会改变，模式一旦指定类后也不再改变。 算法特点: 从算法的过程可以看出，该算法结果很大程度上依赖于距离门限T的选取及模式参与分类的次序。如果能有先验知识指导门限T的选取，通常可获得较合理的效果。也可考虑设置不同的T和选择不同的次序，最后选择较好的结果进行比较。 * 简单聚类图例 2·4 聚类的算法--简单聚类方法 初始条件不同的简单聚类结果 初始中心不同 样本顺序不同 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 10 9 8 10 9 8 8 7 6 8 7 6 11 6 7 11 6 7 9 10 11 9 10 11 5·4 聚类的算法—最大最小距离法 5·4 聚类的算法--最大最小距离法 ⒊ 算法原理步骤 ⑴ 选任一模式特征矢量作为第一个聚类中心 例如， 。 作为第二个聚类中心 。 ⑵ 从待分类矢量集中选距离 最远的特征矢量 ⑶ 计算未被作为聚类中心的各模式特征矢量 与 、 之间的距离，并求出它们之中的最小值， 为表述简洁，虽然某些模式已选做聚类中心，但上面仍将所有模式下角标全部列写出来，因这并不影响算法的正确性。 即 则相应的特征矢量 作为第三个聚类中心， 然后转至⑸；否则，转至最后一步⑹。 ⑷ 若 ⑸ 设存在 个聚类中心，计算未被作为聚类中心 ,并算出 如果 ，则 否则，转至最后一步⑹。 的各特征矢量到各聚类中心的距离 并转至⑸； ⑹ 当判断出不再有新的聚类中心之后，将模式特 中去，即计算 当 ，则判 。 征矢量 按最小距离原则分到各类 这种算法的聚类结果与参数 心的选取有关。如果没有先验知识指导 和 取，可适当调整 和 选取最合理的一种聚类。 以及第一个聚类中 的选 ，比较多次试探分类结果， 层次聚类法 (Hierarchical Clustering Method)(系统聚类法、 谱系聚类法） 按最小距离原则不断进行两类合并 谱系聚类法 5·4 聚类的算法—最大最小距离法程序 ⒉ 算法思想 首先将 N 个模式视作各自成为一类，然后计算类与类之间的距离，选择距离最小的一对合并成一个新类，计算在新的类别分划下各类之间的距离，再将距离最近的两类合并，直至所有模式聚成两类为止。 例2.4.3：如下图所示 1、设全部样本分为6类， 2、作距离矩阵D(0) 3、求最小元素： 4、把ω1,ω3合并ω7=(1,3) ω4,ω6合并ω8=(4,6) 5、合并的类数没有达到要求 作距离矩阵D(1) ω1 ω2 ω3 ω4 ω5 ω2 3 ω3 1 4 ω4 7 4 8 ω5 5 2 6 2 ω6 8 5 9 1 3 D(0) 例2.4.3：如下图所示 7、作距离矩阵D(1) 8、求最小元素： 9、把ω2,ω5，ω8合并 ω9=（2,5,4,6） 10、合并的类数达到要求， 停止。 D(1) ω7 ω2 ω8 ω2 3 ω8 7