浅谈模式识别 张学工.pdf

张学工《模式识别》教学课件 第九章 非监督学习方法 Xuegong Zhang, Tsinghua University 1 张学工《模式识别》教学课件 9.1 引言 监督模式识别： （已知）样本集 训练（学习，分类器设计） 识别（分类） 非监督模式识别： （未知）样本集 非监督学习（聚类分析） 后处理 根据： 某种假设（对聚类应具有的性质的认识） 结果： 聚类（clusters） 属中间结果（数学结果），需经解释赋予物理含义（后处理） 基于模型的方法 两大类方法  基于相似性度量的方法 Xuegong Zhang, Tsinghua University 2 张学工《模式识别》教学课件 9.2 基于模型的方法: 单峰子集分离法 基本假定： 各类样本的分布是单峰的，根据总体分布中的单峰来划分子集  投影方法 基本思路： 把样本投影到某一维坐标轴（按某种准则），在这一维上求样本的概率密度（边 缘概率密度），根据这一概率密度函数的单峰划分子集。 （如果这一维上只有一个峰，则寻找下一个投影方向。） Xuegong Zhang, Tsinghua University 3 张学工《模式识别》教学课件 投影方向：使方差最大的方向，即协方差阵本征值最大的本征向量方向。 算法步骤： u （1）计算样本协方差矩阵的最大本征值对应的本征向量 j ， 把样本投影到uj 上。 （ KL 变换） （2）估计投影后样本v u T x 的概率密度函数p (v ) 。 j j j （用直方图方法或其它方法） （3）求p (v ) 中的极小点（波谷）， j 在这些极小点上作垂直于uj 的超平面作为分类超平面，得到子集划分。 （4 ）如果p (v ) 上没有这种极小点， j 则用下一个本征值对应的本征向量作为投影方向，重复（2）～（3）。 （5）对划分出的每一个子集重复上述过程，直到不能再分（所有方向上都是单峰）。 Xuegong Zhang, Tsinghua University 4 张学工《模式识别》教学课件 问题： 如何选择投影方向？ 方差最大的准则有时并不一定最有利于聚类。 Xuegong Zhang, Tsinghua University 5 张学工《模式识别》教学课件  参数化方法 以上介绍方法均属非参数方法，在对数据分布没有先验知识的情况下采用。 如果已知（或可假设）数据分布的概率密度函数的形式，则可采用参数化方法。 9.3 混合模型的估计：非监督参数估计 非监督参数估计指样本类别未知，但各类条件概率密度函数的形式已知，根据所 有样本估计各类密度函数中的参数