机器学习 课件 5.6聚类与降维.pdf

聚类与降维

聚类分析

聚类与降维

按照某个特定标准(如距离准则)把一个数据集分成

聚类不同的簇，使得同一簇内的数据相似性尽可能大，

同时不在同一个簇中的数据差异性尽可能大。

一种对高维特征数据预处理方法，它是用维数更低

降维

的子空间来表示原来高维的特征空间。

聚类分析

聚类与降维

降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，

从而实现提升数据处理速度的目的。

特征选择技术

方法

特征变换技术

聚类分析

聚类与降维

特征选择技术

特征选择技术又称属性子集选择或者特征子集选择，对它最简单的理

解就是从高维数据中选择出若干最“有用”的维度进行聚类计算。

选择属性子集的过程可以一般用有监督的方法，如找出与所求问题最

相关的属性集

同时，它也可以使用无监督的方法，如熵分析等。

聚类分析

聚类与降维

特征变换技术

特征变换技术把数据转换到一个较小的空间，同时保持对象间原始的相对距离。

它们通过创建属性的线性组合等方式来汇总数据，可能发现数据中的隐藏结构。

这种技术没有真正的从分析中剔除任何原始属性

聚类分析

聚类与降维

特征变换技术

主成分分析（principalcomponentanalysis，PCA）

主成分分析的两种实现方式：

特征值分解奇异值分解

聚类分析

聚类与降维

特征值分解如果一个向量v是方阵A的特征向量，则有：Avv

其中，称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量

1

特征值分解：将一个矩阵分解成：AQEQ

其中，Q是这个矩阵A的特征向量组成的矩阵，E是一个对角阵，每一个对角

线上的元素就是一个特征值。

特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。

聚类分析

聚类与降维

奇异值分解奇异值分解实质上是将上述分解从方阵推广到任意矩阵的一种分解方法：

AUEVT



ØPCA的数学表示为：APA

mnnrmr

Ø奇异值分解的数学表示为：AUEVT

mnmrrrrn

TT



这两个公式可以分别变换为：PAA和UAEV

rmmnrnrmmnrrrn

PCA几乎可以说是对奇异值分解(sigularvaluedecomposition,SVD)的一个包

装

如果实现了奇异值分解，就实现了PCA

TheEnd