第8单元 成分分析与核函数.pptVIP

第八章 成分分析与核函数 8.0 问题的提出 降低特征维数: Dimension Reduction 提高泛化能力：减少模型的参数数量； 减少计算量： 主要方法： 主成分分析(PCA): Principle Component Analysis 判别分析(FDA)：Fisher Discriminant Analysis 独立成分分析(ICA): Independent Component Analysis … 人脸识别举例 8.1 主成分分析（PCA，Principal Component Analysis） PCA：是一种最常用的线性成分分析方法； PCA的主要思想：寻找到数据的主轴方向，由主轴构成一个新的坐标系（维数可以比原维数低），然后数据由原坐标系向新的坐标系投影。 PCA的其它名称：离散K-L变换，Hotelling变换； PCA的思想 PCA的思想 PCA算法 利用训练样本集合计算样本的均值m和协方差矩阵S； 计算S的特征值，并由大到小排序； 选择前d’个特征值对应的特征矢量作成一个变换矩阵E=[e1, e2, …, ed’]； 训练和识别时，每一个输入的d维特征矢量x可以转换为d’维的新特征矢量y： y = Et(x-m)。 PCA的讨论 正交性：由于S是实对称阵，因此特征矢量是正交的； 不相关性：将数据向新的坐标轴投影之后，特征之间是不相关的； 特征值：描述了变换后各维特征的重要性，特征值为0的各维特征为冗余特征，可以去掉。 例8.1 有两类问题的训练样本： 将特征由2维压缩为1维。 特征人脸 PCA重构 8.2 多重判别分析（MDA, Multiple Discriminant Analysis） MDA与PCA PCA将所有的样本作为一个整体对待，寻找一个均方误差最小意义下的最优线性映射，而没有考虑样本的类别属性，它所忽略的投影方向有可能恰恰包含了重要的可分性信息； MDA则是在可分性最大意义下的最优线性映射，充分保留了样本的类别可分性信息； MDA还被称为：FDA( Fisher Discriminant Analysis )或LDA( Linear Discriminant Analysis )。 Fisher 线性判别准则 样本x在w方向上的投影： 类内散布矩阵： 类间散布矩阵： Fisher线性判别准则： FDA算法 利用训练样本集合计算类内散度矩阵Sw和类间散度矩阵SB； 计算Sw-1SB的特征值； 选择非0的c-1个特征值对应的特征矢量作成一个变换矩阵W=[w1, w2, …, wc-1]； 训练和识别时，每一个输入的d维特征矢量x可以转换为c-1维的新特征矢量y： y = Wtx。 3类问题FDA FDA的讨论 非正交：经FDA变换后，新的坐标系不是一个正交坐标系； 特征维数：新的坐标维数最多为c-1，c为类别数； 解的存在性：只有当样本数足够多时，才能够保证类内散度矩阵Sw为非奇异矩阵（存在逆阵），而样本数少时Sw可能是奇异矩阵。 8.3 成分分析的其它问题 独立成分分析( ICA, Independent Component Analysis )：PCA去除掉的是特征之间的相关性，但不相关不等于相互独立，独立是更强的要求。ICA试图使特征之间相互独立。 多维尺度变换(MDS, Multidimensional Scaling) 典型相关分析(CCA, Canonical Correlation Analysis) 偏最小二乘(PLS, Partial Least Square) 线性PCA的神经网络实现 8.4 核函数及其应用 空间的非线性映射 建立一个R2?R3的非线性映射 计算R3中2个矢量的内积： 定义核函数： ，则： 核函数 启示：特征空间中两个矢量之间的内积可以通过定义输入空间中的核函数直接计算得到。 实现方法：不必定义非线性映射Φ而直接在输入空间中定义核函数K来完成非线性映射。 应用条件： 定义的核函数K能够对应于特征空间中的内积； 识别方法中不需要计算特征空间中的矢量本身，而只须计算特征空间中两个矢量的内积。 Hibert-Schmidt理论 作为核函数应满足如下条件： 是 下的对称函数，对任意 ，且 有： 成立，则 可以作为核函数。 此条件也称为Mercer条件。 常用的核函数 Gaussian RBF： Polynomial： Sigmoidal： Inv. Multiquardric： 核函数应用于线性分类器（SVM的非线性版本） SVM的求解，最后归结为如下目标函数的优化