模式识别导论(六)精选.ppt

第六章 聚类分析 §6－1 分类与聚类的区别 分类：用已知类别的样本训练集来设计分类器（监督学习） 聚类（集群）：用事先不知样本的类别，而利用样本的先验知识来构造分类器（无监督学习） §6-2 系统聚类 系统聚类：先把每个样本作为一类，然后根据它们间的相似性和相邻性聚合。 相似性、相邻性一般用距离表示 （1）两类间的距离 1、最短距离：两类中相距最近的两样品间的距离。 6、 离差平方和： 设N个样品原分q类，则定义第i类的离差平方和为： 离差平方和增量：设样本已分成ωp,ωq两类，若把ωp,ωq合为ωr类，则定义离差平方： 3、求最小元素： 4、把ω1,ω3合并ω7=(1,3) ω4,ω6合并ω8=(4,6) 5、作距离矩阵D(1) 6、若合并的类数没有达到要求，转3。否则停止。 3、求最小元素： 4、ω8,ω5,ω2合并, ω9=（2,5,4,6） §6-2 分解聚类 分解聚类：把全部样本作为一类，然后根据相似性、相邻性分解。 目标函数 两类均值方差 分解聚类框图： 对分算法：略 例：已知21个样本，每个样本取二个特征，原始资料矩阵如下表： 2、分别计算当 划入 然后再把 划入 时对应的E值，找出一个最大的E值。 把 划为 的E值最大。 ∴ 次数 E值 1 56.6 2 79.16 3 90.90 4 102.61 5 120.11 6 137.15 7 154.10 8 176.15 9 195.26 10 213.07 11 212.01 第10次迭代 划入 时，E最大。于是分成以下两类： ∴ 作业： 样本 1 2 3 4 5 6 7 8 0 2 1 5 6 5 6 7 0 2 1 3 3 4 4 5 用对分法编程上机，分成两类画出图形。 §6-3 动态聚类——兼顾系统聚类和分解聚类 一、动态聚类的方法概要 ① 先选定某种距离作为样本间的相似性的度量; ② 确定评价聚类结果的准则函数; ③ 给出某种初始分类，用迭代法找出使准则函数取极值的最好的聚类结果。 动态聚类框图 初始分类 二、代表点的选取方法：代表点就是初始分类的聚类中心数k ① 凭经验选代表点，根据问题的性质、数据分布，从直观上看来较合理的代表点k; ②将全部样本随机分成k类，计算每类重心，把这些重心作为每类的代表点; 三、初始分类和调整 ① 选一批代表点后，代表点就是聚类中心，计算其它样本到聚类中心的距离，把所有样本归于最近的聚类中心点，形成初始分