模式识别 课件 第7章 无监督模式识别.pptx

第7章无监督模式识别

主要内容7.1聚类的基本概念7.2相似性测度7.3动态聚类7.4层次聚类7.5高斯混合聚类7.6其他聚类算法简介7.8聚类性能度量7.9聚类分析的实例

7.1聚类的基本概念事先不知道要划分的是什么类别，没有类别已知的样本用来训练，通过某种方法直接把数据划分成若干类别，称为无监督模式识别、无监督学习、聚类分析等（1）无监督模式识别（2）聚类一般指将缺少先验知识的样本集划分为若干个不相交的子集，每个子集称为一个“簇”（cluster）。

7.1聚类的基本概念（3）聚类分析三要素聚类依据模式相似性测度，样本之间的相似性的衡量聚类算法对应聚类的思路、方法和过程聚类性能度量聚类准则函数，用于衡量聚类结果的有效性

（1）样本相似性测度原理同类样本特征相似，不同类样本的特征显著不同时；同类样本会聚集在一个区域，不同类样本相对远离。样本点在特征空间距离的远近直接反映了相应样本所属类别，可作为样本相似性度量。距离越近，相似性越大，属于同一类的可能性就越大；距离越远，相似性越小，属于同一类的可能性就越小。距离测度7.2相似性测度

距离的定义?7.2相似性测度

常用距离7.2相似性测度欧氏距离Euclidean城市距离Manhattan切氏距离Chebyshev明氏距离Minkowski

7.2相似性测度Canberra距离（Lance距离）（Williams距离）JffreysMatusita距离马氏距离Mahalanobis

相似测度余弦值越大，相似性越大，适于扇形分布的样本余弦相似度函数7.2相似性测度????Pearson相关系数?

7.2相似性测度指数相关系数Tanimoto测度其它相似测度

7.2相似性测度匹配测度适用于二元向量?????

7.2相似性测度简单匹配测度Jaccard系数（Tanimoto测度）Dice系数汉明距离Rao测度Kulzinsky系数????

7.2相似性测度（2）点和集合之间的相似性测度衡量待测点与集合之间的相似性，以便将样本归入某一聚类。两种情况根据待测样本点和集合当前所有点之间的相似度定义将集合用某种方式表达，待测样本点和该表达之间的相似度定义

7.2相似性测度最大相似测度最小相似测度平均相似测度

7.2相似性测度聚类中心每类模式的聚集中心或具有代表性的模式将一个类用一个点表达，待测样本和该点之间的相似度作为和类的相似度平均向量均值中心样本集中和其他点相似度之和最大的样本样本集中和其他点相似度的中值最大的样本点中值中心

7.2相似性测度（3）集合和集合之间的相似性测度衡量集合与集合之间的相似性，以便将集合聚集两种情况根据集合间所有点之间的相似度定义将集合用某种方式表达，根据集合表达之间的相似度定义

7.2相似性测度最大相似测度最小相似测度平均相似测度均值测度其他测度

采用距离度量样本间的相似性；确定某个评价聚类结果质量的准则函数；给定某个初始分类，通过迭代算法找出使准则函数取极值的最好聚类结果。7.3动态聚类动态聚类方法的关键点

7.3动态聚类（1）C均值算法首先确定c个初始聚类中心，然后根据各类样本到聚类中心的距离平方和最小的准则（最小误差平方和准则），不断调整聚类中心，直到聚类合理。原理

步骤7.3动态聚类?3）计算新的聚类中心?2）逐个将每一样本按最小距离原则分配给c个聚类中心

例题例7-4：有10个二维样本，用C均值算法聚类。7.3动态聚类序号取值序号取值?

7.3动态聚类2）样本归类?3）计算新的聚类中心

7.3动态聚类4）判断算法是否收敛2）重新按最小距离分配样本?3）计算新的聚类中心

7.3动态聚类4）判断算法是否收敛?3）计算新的聚类中心

7.3动态聚类4）判断算法是否收敛?3）计算新的聚类中心4）判断算法是否收敛

7.3动态聚类仿真实现clc,clear,closeall;X=[00;10;22;11;01;53;63;54;64;75];[N,n]=size(X);c=2;label=zeros(1,N);mv=randperm(N,c);%mv=[1,2];oldmu=X(mv,:);newmu=zeros(c,n);while1d=pdist2(X,oldmu);[~,label]=min(d,[],2);fori=1:cnew