模式识别--非监督学习方法：聚类分析.pptVIP

第一章 非监督学习方法：聚类分析 基本概念 相似性测度与聚类准则 基于试探的聚类搜索算法 系统聚类 分解聚类 动态聚类 §1.1 基本概念 分类与聚类的区别 分类：用已知类别的样本训练集来设计分类器（监督学习） 聚类（集群）：用事先不知样本的类别，而利用样本的先验知识来构造分类器（无监督学习） 举例：小孩区分桔子和苹果 相似性与距离聚类 相似性：模式之间具有一定的相似性，这既表现在实物的显著特征上，也表现在经过抽象以后特征空间内的特征向量的分布状态上。 聚类分析定义：对一批没有标出类别的模式样本集，按照样本之间的相似程度分类，相似的归为一类，不相似的归为另一类，这种分类称为聚类分析，也称为无监督分类。 分类依据：一个样本的特征向量相当于特征空间中的一点，整个模式样本集合的特征向量可以看成特征空间的一些点，点之间的距离函数可以作为模式相似性的度量，并以此作为模式的分类依据。 聚类分析是按不同对象之间的差异，根据距离函数的规律进行模式分类的。 距离函数的定义 特征向量的特性 聚类分析的有效性：聚类分析方法是否有效，与模式特征向量的分布形式有很大关系。 若向量点的分布是一群一群的，同一群样本密集（距离很近），不同群样本距离很远，则很容易聚类； 若样本集的向量分布聚成一团，不同群的样本混在一起，则很难分类； 对具体对象做聚类分析的关键是选取合适的特征。特征选取得好，向量分布容易区分，选取得不好，向量分布很难分开。 特征空间维数 特征信息的冗余性：在对象分析和特征提取中，往往会提取一些多余的特征，以期增加对象识别的信息量。 高维特征空间分析的复杂性：特征空间维数越高，聚类分析的复杂性就越高 高维特征空间降维 降维方法： 相关分析：特征向量的相关矩阵R，分析相关性 主成分分析：以正交变换为理论基础 独立成分分析：以独立性为基础 特征的表示 数值表示：对于实际问题，为了便于计算机分析和计算，特征必须进行量化。对不同的分析对象，量化方法是不一样的。 连续量的量化：用连续量来度量的特征，只需取其量化值，如长度、重量等。 分级量的量化：度量分析对象等级的量，用有序的离散数字进行量化，比如学生成绩的优，良，中，差可用1，2，3，4等量化表示。 定性量的量化：定性指标，没有数量关系，也没有次序要求。比如，性别特征：男和女，可用0和1来进行表示。 两类模式分类的实例 区分一摊黑白围棋子 选颜色作为特征进行分类，用“1”代表白，“0”代表黑，则很容易分类； 选大小作为特征进行分类，则白子和黑子的特征相同，不能分类。 §1.2 相似性测度和聚类准则 一、相似性的测度 欧氏距离: 表征两个模式样本在特征空间中的Euclid距离， 模式X和Z间的距离愈小，则愈相似 注意：X和Z的量纲必须一致 消除量纲不一致对聚类的影响：特征数据的正则化（也称标准化、归一化），使特征变量与量纲无关。 马氏距离：表征模式向量X与其均值向量m之间的距离平方，C是模式总体的协方差矩阵， 引入协方差矩阵，排除了样本之间的相关性。 欧式距离中，如果特征向量中某一分量的值非常大，那么就会掩盖值小的项所起到的作用，这是欧式距离的不足；当采用马氏距离，就可以屏蔽这一点。因为相关性强的一个分量，对应于协方差矩阵C中对角线上的那一项的值就会大一些。再将这一项取倒数，减小该影响。 当协方差为对角矩阵时，各特征分量相互独立；当协方差为单位矩阵时，马氏距离和欧氏距离相同。 一般化的明氏距离 角度相似性函数：表征了模式向量x和z之间夹角的余弦，反映了几何上的相似性， 当坐标系旋转或者尺度变换，夹角余弦测度均保持不变（对位移和线性变换不成立） 如果x和z的分量用二值来表示，0表示不具有某种特征，1表示具有某种特征，则夹角余弦测度表示x和z具有共有特征数目的相似性测度。 二、聚类准则的确定 ?试探法 凭直观和经验，针对实际问题选择相似性测度并确定此相似性测度的阈值，然后选择一定的训练样本来检验测度和阈值的可靠程度，最后按最近邻规则指定某些模式样本属于某一个聚类类别。 举例：对于欧氏距离，它反映了样本间的近邻性，但将一个样本分到不同类别时，还必须规定一距离测度的阈值准则作为聚类的判别准则 ?聚类准则函数法 聚类就是将样本进行组合分类以使类别可分性为最大，因此聚类准则应是反映类别间相似性（或可分性）的函数；同时，类别又由一个个样本组成，因此类别的可分性与样本间的差异性直接相关。基于此，聚类准则函数J，应是模式样本集{x}和模式类别{Sj, j=1,2,…,c}的函数，即 J代表了分属于c个聚类类别的全部模式样本与其对应类别模式均值之间的误差平方和； 对于不同的聚类形式， J值是不同的，聚类的目的是：使J值达到极小； 由此可见：聚类分析转化为寻找准则函数极值的最优化问题