第六章 聚類分析.pptVIP

第六章 聚类分析 §6－1 分类与聚类的区别 分类：用已知类别的样本训练集来设计分类器（监督学习） 聚类（集群）：用事先不知样本的类别，而利用样本的先验知识来构造分类器（无监督学习） §6-2 系统聚类 系统聚类：先把每个样本作为一类，然后根据它们间的相似性和相邻性聚合。 相似性、相邻性一般用距离表示 （1）两类间的距离 1、最短距离：两类中相距最近的两样品间的距离。 2、最长距离 ：两类中相距最远的两个样本间的距离。 3、中间距离：最短距离和最长距离都有片面性，因此有时用中间距离。设ω1类和ω23类间的最短距离为d12，最长距离为d13，ω 23类的长度为d23，则中间距离为： 上式推广为一般情况： 4、重心距离：均值间的距离 5、类平均距离：两类中各个元素两两之间的距离平方相加后取平均值 6、 离差平方和： 设N个样品原分q类，则定义第i类的离差平方和为： 离差平方和增量：设样本已分成ωp,ωq两类，若把ωp,ωq合为ωr类，则定义离差平方： （2）系统聚类的算法（略） 例：如下图所示 1、设全部样本分为6类， 2、作距离矩阵D(0) ω1 ω2 ω3 ω4 ω5 ω2 9 ω3 1 16 ω4 49 16 64 ω5 25 4 36 4 ω6 64 25 81 1 9 3、求最小元素： 4、把ω1,ω3合并ω7=(1,3) ω4,ω6合并ω8=(4,6) 5、作距离矩阵D(1) ω7 ω2 ω8 ω2 9 ω8 49 16 ω5 25 4 4 6、若合并的类数没有达到要求，转3。否则停止。 3、求最小元素： 4、ω8,ω5,ω2合并, ω9=（2,5,4,6） §6-2 分解聚类 分解聚类：把全部样本作为一类，然后根据相似性、相邻性分解。 目标函数 两类均值方差 N：总样本数， ：ω1类样本数 ：ω2类样本数， 分解聚类框图： 对分算法：略 例：已知21个样本，每个样本取二个特征，原始资料矩阵如下表： 样本号 1 2 3 4 5 6 7 8 9 10 x1 0 0 2 2 4 4 5 6 6 7 x2 6 5 5 3 4 3 1 2 1 0 11 12 13 14 15 16 17 18 19 20 21 -4 -2 -3 -3 -5 1 0 0 -1 -1 -3 3 2 2 0 2 1 -1 -2 -1 -3 -5 解：第一次分类时计算所有样本，分别划到 时的E值，找出最大的。 1、开始时， 2、分别计算当 划入 时的E值 把 划入 时有 然后再把 划入 时对应的E值，找出一个最大的E值。 把 划为 的E值最大。 ∴ E(1)=56.6 再继续进行第二，第三次迭代… 计算出 E(2) , E(3) , … 次数 E值 1 56.6 2 79.16 3 90.90 4 102.61 5 120.11 6 137.15 7 154.10 8 176.15 9 195.26 10 213.07 11