第5章动态聚类法﹝三﹞.pptVIP

动态聚类法 思想:首先选择若干个样本作为聚类中心,再按照事先确定的聚类准则进行聚类.在聚类过程中,根据聚类准则对聚类中心反复修改,直到分类合理为止. K-均值聚类 又称为C-均值聚类,是根据函数准则进行分类的聚类算法, 使聚类准则函数最小化. 准则函数 K-均值算法的聚类准则 算法描述设共有N个模式样本,计算步骤如下: 算法讨论 K-均值算法受以下几个因素的影响 (1)指定聚类中心的个数是否符合模式的实际分布; (2)所选聚类中心的初始位置; (3)样本分布的几何性质; (4)样本的读入次序. 聚类结果的评价 常见的几个评价指标 (1)聚类中心之间的距离 同一类样本相聚比较密集,不同类样本相距较远.聚类中心之间的距离通常总大于各类样本的类内平均距离.类间距离太小,说明两类靠得太紧,有可能合并. (2)诸聚类域中的样本数目 如果样本的抽取比较合理,通常各类的样本数相差不大.因此聚类结果中,若某一类的样本数较其它类的样本数明显多得多,该类有可能是几类样本的集合. 综合考虑(1)、(2) (3) 诸聚类域内样本距离的标准差向量 聚类域内样本与聚类中心对应分量差的平方和的平均值叫方差.方差的算术平方根叫做标准差. 此外还可以用其它距离度量之分析模式样本的聚类性质.例如: 在一个聚类域内,距离聚类中心最远与最近的样本位置等. 考试重点 模式识别的基本概念 模式识别系统 最小错误率贝叶斯分类器 最小风险贝叶斯分类器 线性判别分类器的设计步骤 广义线性分类器(非线性→线性) 感知器准则函数及迭代解 最小均方误差准则与伪拟解 Fisher判别分类的思想、原则及准则函数 特征提取、特征选择的概念 欧氏距离、马氏距离 基于类内散布矩阵的单类模式特征提取 聚类的概念与理解 监督分类、无监督分类 聚类与分类 基于距离阈值、函数准则的聚类 近邻聚类法 最大最小距离算法 层次聚类法 动态聚类法：K-均值聚类算法 考试题型 第一题 概念题 （2个小题）10分 第二题 简答题 （3个小题）30分 第三题 计算题 （4个小题）50分 第四题 综合应用题 10分 * * 试探 聚类集中每个样本点到该类聚类中心的距离平方和,对于第个聚类集,准则函数定义为 其中表示第个聚类集,聚类中心为；为第个聚类集中包含的样本数。 对所有K个模式类有 聚类中心的选择应使准则函数极小，也就是使得的值极小，要满足这一点，应有，即 解得 上式表明，类的聚类中心应选为该类样本的均值。 任选K个初始聚类中心。 括号内的序号代表了寻找聚类中心的迭代运算的次序号。一般可选择样本集中前K个样本作为初始聚类中心。 按最小距离原则将其余样本分配到K个聚类中心中的某一个中心所对应的类别中，即如果 则. 其中为迭代运算的次序号,若第一次迭代则,代表了聚类中心的个数. (3) 计算各个中心的新向量值, 即均值向量作为新的聚类中心.这一步要分别计算个聚类中的样本均值向量,故该算法称为-均值算法. (4) 如果,则回到步骤(2),将样本逐个重新分配,并重复迭代计算；如果, 算法收敛,计算完毕. 对类样本,距离的标准差的各分量为 , 每个反应的是样本的特征空间的第维上与聚类中心的位置偏差,整体上就反映了样本在各个方向上距离聚类中心的分散程度,或者说体现的是聚类域内样本分布的形状. 例: 已知10个模式样本如下,试用K-均值算法分类. 解：(1) 取，并选， 　(2) 计算距离，聚类 　同理可得 　于是得 ,, 　,. (3) 计算新的聚类中心 　　　　 (4) 判断，因为 返回第(2)步。 (5) 由新得聚类中心得 同理可得 因此 ,, ,. (6) 计算新得聚类中心 (7) 判断，因为 返回第(2)步，以，为中心聚类。 (8) 以新的聚类中心分类 　 同理得 与上一次的结果相同，因此 ,, ,. (9) 计算新的聚类中心向量，聚类中心与上一次相同 算法收敛，得聚类中心 ，