模式识别导论L13_Clustering.pdfVIP

模式识别导论 学年第学期 东南大学 自动化学院 年月 日 回顾 随机优化方法 依赖随机性所起的关键作用，使搜索朝着预期最优解 的区域 前进，同时允许一定程度的随机扰动，以利于发现最优解 模拟退火算法 能量函数 因子 模拟退火算法用于特征选择 遗 算法 适应度函数 三种基本操作：复制、交叉、变异 遗 算法用于特征选择 东南大学 自动化学院 模式识别导论 无监督学习和聚类 东南大学 自动化学院 模式识别导论 有监督学习和无监督学习 有监督 （ ）学习 训练集中每个样本都有一个类别标记 所有类别事先 已知 常用于：分类、 回归 无监督 （）学习 训练集中样本的类别标记未知 给定一组样本，发现其内在性质，如类别和聚类 常用于：聚类、概率密度估计 东南大学 自动化学院 模式识别导论 无监督学习的动机 收集并且标记大量模式往往花费巨大 希望首先在一个较小的有标记样本集上训练一个粗略的分类 器，然后让这个分类器 以非监督的方式在一个较大的样本集 上运行 或者，用大量未标记 的样本集来训练分类器，让它 自动发现 数据中的分组，然后用代价更高的办法 （如人工 ）来标记这 些分组 在很多应用中，模式的特征会随时间而变化 如果这种特征的变化能够被某种运行在无监督方式下的分类 器捕捉到，那么分类性能将得到大幅提高 东南大学 自动化学院 模式识别导论 无监督学习的动机 无监督方法可以用来提取特征，或者预处理现存特征，从而 为后续的模式识别问题做准备 例如：降维 在任何探索性的工作中，无监督方法可以揭示观测数据的一 些内部结构和规律 发现模式中内在 的聚类或分组可能为分类器设计提供依据 东南大学 自动化学院 模式识别导论 聚类 （ ） 聚类是指将物理的或抽象的对象自然分组，使得每组 由相似 的对象构成一类的过程 因为训练集样本并无类别标记，所以聚类是无监督学习过程 一个聚类 （ ）是指一组样本，它们与属于同一聚类的 样本相似，而与属于其他聚类的样本不相似 聚类可用作 一种独立的数据分析工具，用于分析数据的内在特性 一种数据预处理方法，为后续模式识别服务 东南大学 自动化学院 模式识别导论 相似性度量与聚类准则 东南大学 自动化学院 模式识别导论 相似性度量 “同一聚类 内部的样本之间比不同聚类的样本之间更相似” 基于某种定义的样本间的相似性 （或不相似性）度量 两类主要的相似性 （或不相似性）度量 基于度量的距离标准 非度量的相似性函数 一个度量 （即距离函数 ）需满足如下条件 非负