非监督学习方法之聚类分析.pptVIP

分解聚类框图 初始分类 调整分类方案 最终结果 目标函数 达到最优先？ 第三十一页，共五十五页。 例2：已知21个样本，每个样本取二个特征，原始资料矩阵如下表： 样本号 1 2 3 4 5 6 7 8 9 10 x1 0 0 2 2 4 4 5 6 6 7 x2 6 5 5 3 4 3 1 2 1 0 11 12 13 14 15 16 17 18 19 20 21 -4 -2 -3 -3 -5 1 0 0 -1 -1 -3 3 2 2 0 2 1 -1 -2 -1 -3 -5 第三十二页，共五十五页。 ∴目标函数 ∴ 解：第一次分类时计算所有样本，分别划到 时的E值，找出最大E值对应的样本。 1、开始时， 第三十三页，共五十五页。 2、分别计算当 划入 时的E值 把 划入 时有 第三十四页，共五十五页。 然后再计算把 划入 时对应的E值，找出一个最大的E值。 一直计算下去… 把 划为 的E值最大。 ∴ E(1)=56.6 再继续进行第二，第三次迭代… 计算出 E(2) , E(3) , … 第三十五页，共五十五页。 次数 E值 1 56.6 2 79.16 3 90.90 4 102.61 5 120.11 6 137.15 7 154.10 8 176.15 9 195.26 10 213.07 11 212.01 第三十六页，共五十五页。 第10次迭代 划入 时，E最大。于是分成以下两类： ∴ 每次分类后要重新计算 的值。可用以下递推公式： 第三十七页，共五十五页。 第三十八页，共五十五页。 §1.6 动态聚类——兼顾系统聚类和分解聚类 一、动态聚类的方法概要 ① 先选定某种距离作为样本间的相似性的度量; ② 确定评价聚类结果的准则函数; ③ 给出某种初始分类，用迭代法找出使准则函数取极值的最好的聚类结果。 第三十九页，共五十五页。 第一章 非监督学习方法：聚类分析 基本概念 相似性测度与聚类准则 基于试探的聚类搜索算法 系统聚类 分解聚类 动态聚类 第一页，共五十五页。 §1.1 基本概念 分类与聚类的区别 分类：用已知类别的样本训练集来设计分类器（监督学习） 聚类（集群）：用事先不知样本的类别，而利用样本的先验知识来构造分类器（无监督学习） 第二页，共五十五页。 相似性与距离聚类 相似性：模式之间具有一定的相似性，这既表现在实物的显著特征上，也表现在经过抽象以后特征空间内的特征向量的分布状态上。 聚类分析定义：对一批没有标出类别的模式样本集，按照样本之间的相似程度分类，相似的归为一类，不相似的归为另一类，这种分类称为聚类分析，也称为无监督分类。 第三页，共五十五页。 分类依据：一个样本的特征向量相当于特征空间中的一点，整个模式样本集合的特征向量可以看成特征空间的一些点，点之间的距离函数可以作为