10-非监督学习方法.pdfVIP

第十章非监督学习方法 10.1 引言 10.2 单峰子集的分离方法 10.3 类别分离的间接方法 10.4 分级聚类方法 10.5 其他聚类方法简介 10.6 聚类中的问题 10.1 引言 10.1 引言 有监督：样本数据类别已知，训练分类 器以求对新数据进行分类 非监督：样本数据类别未知，首先要求 对样本集进行分类(聚类) 非监督学习方法大致分为两大类： 基于概率密度函数估计的方法 基于样本间相似性度量的方法 10.1 引言 Top-down Division Hierarchical Top-down Division Hierarchical Clustering Clustering Bottom-up Agglomerative 分层聚类 Bottom-up Agglomerative 分层聚类 PDF based methods PDF based methods K-Series K-Series Partitional Partitional Clustering Graph Theory based methods Clustering Graph Theory based methods 分块聚类 分块聚类 PCA/SVD based methods PCA/SVD based methods Other methods Other methods 10.2 单峰子集的分离方法 10.2 单峰子集的分离方法 思想：把特征空间分为若干个区域，在 每个区域上混合概率密度函数是单峰的， 每个单峰区域对应一个类 如下图简单示例，x=0和y=0这两个超平 面可以把(x,y)平面分成四个单峰区域 10.2 单峰子集的分离方法 10.2 单峰子集的分离方法 投影方法 多维空间中直接划分成单峰区域比较困难， 而一维空间中则比较简单。 寻找一个坐标系统，在该系统下，数据的混 合概率密度函数可以用边缘概率密度表示。 如果某边缘概率密度函数呈现多峰形式，则 在此坐标轴上（一维）作分割。 10.2 单峰子集的分离方法 投影方法（续） 一维空间中的单峰分离 样本集 S 在u 轴上的投影为 i S {u T y | y ∈S } i i 对S 应用直方图方法估计概率密度函数 i 找到概率密度函数的峰，以及峰之间的谷底 在谷底处做垂直于u 的超平面对数据分割 i 10.2 单峰子集的分离方法 10.2 单峰子集的分离方法 投影方法（续） 确定合适的