武汉大学计算机学院模式识别(六).pdfVIP

6 武汉大学计算机学院本科生课程 模式识别 (Pattern Recognition) 武汉大学计算机学院 袁志勇 Email: yuanzywhu@163.com 第4章 聚类分析 4.1 分类与聚类的区别 4.2 系统聚类/层次聚类 4.3 分解聚类 4.4 动态聚类(兼顾系统聚类和分解聚类) 4.5 聚类分析编程举例 按照“物以类聚、人以群分”的基本思想，对未知类 别的样本集根据样本之间的相似程度分类，相似的归 为一类，不相似的归为另一类，故这种分类称为聚类 分析(Clustering analysis)，又常常叫做“聚类” 。 相似性测度、聚类准则和聚类算法称为聚类分析的 三要素。 相似性测度用于衡量同类样本的类似性和不同类样 本的差异性。常用的测度有：距离、夹角余弦、相似 系数等(详见第一讲课件) 。 为了评价聚类效果的好坏，必须定义准则函数。有 了模式相似性测度和准则函数后，聚类就变成了使准 则函数取极值的优化问题了。常用的准则函数是误差 平方和准则。 4.1 分类与聚类的区别 – 分类(Classifying)：用已知类别的样本训练集 来设计分类器(有监督学习： supervised learning) 我们在前面设计分类器时，训练样本集中 每个样本的类别归属都是“被标记了”的 (labeled)，这种利用已标记样本集的学习方法 称为有监督学习方法。 – 聚类/集群(Clustering)：事先不知样本的类 别，而利用样本的先验知识来构造分类器(无监 督学习： unsupervised learning) 4.2 系统聚类 系统聚类(又叫层次聚类/谱系聚类法：Hierarchical Clustering Method)：先把每个样本(或指标)各自作为一类， 然后根据样本间的相似性和相邻性聚合。即将亲疏程度最高 的两类合并，如此重复进行，直到所有的样本都合成一类。 衡量亲疏程度的指标有两种：距离、相似系数。 相似性、相邻性一般用距离表示。 一、两类间的距离 1.最短距离：两类中相距最近的两样本间的距离。 D min d pq ij x ∈ω i p x ∈ω j q d 表示第i个样本与第j 个样本之间的距离。 ij 2.最长距离 ：两类中相距最远的两个样本间的距 离。 D max d pq ij x ∈ω i p x ∈ω j q 3. 中间距离：最短距离和最长距离都有片面性， 因此有时采用中间距离。假设某一步将ω 与ω