人工智能降维.pptVIP

人工智能 --- 降维方法 PPT讲解：奚蒙 PPT制作：刘磊 2015年12月10日 降维是把采集的数据从一个高维空间映射到维度要低得多的一个新的空间的过程。而这个过程是与信息（有损）压缩概念密切相关的。有以下几个原因，以减少数据的维数。 首先，高维数据带来对计算的极大挑战。并且，在某些情况下，高维可能会导致算法的学习具有较差的泛化能力（例如，在最近邻分类的样品的复杂性随着维度增加呈现指数增加）最后，降维可以用于数据的解释性，为发现有意义的数据结构，并说明其用途。 主成分分析法简介 Principal Component Analysis（PCA） 主成分分析(Principal Component Analysis, 简称PCA)是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。 基于PCA算法的人脸识别 PCA方法由于其在降维和特征提取方面的有效性，在人脸识别领域得到了广泛的应用。 PCA方法的基本原理是:利用K-L变换抽取人脸的主要成分，构成特征脸空间，识别时将测试图像投影到此空间，得到一组投影系数，通过与各个人脸图像比较进行识别。 利用特征脸法进行人脸识别的过程由训练阶段和识别阶段两个阶段组成 其具体步骤如下： 训练阶段 第一步：假设训练集有200个样本，由灰度图组成，每个样本大小为M*N 写出训练样本矩阵： 其中向量xi为由第i个图像的每一列向量堆叠成一列的MN维列向量,即把矩阵向量化,如下图所示： 训练阶段 如：第i个图像矩阵为 则xi为 训练阶段 第二步：计算平均脸 计算训练图片的平均脸： 训练阶段 第三步：计算差值脸 计算每一张人脸与平均脸的差值 训练阶段 第四步：构建协方差矩阵 训练阶段 第五步：求协方差矩阵的特征值和特征向量，构造特征脸空间 协方差矩阵的维数为MN*MN，考虑其维数较大，计算量比较大，所以采用奇异值分解(SingularValue Decomposition ,SVD)定理，通过求解 的特征值和特征向量来获得 的特征值和特征向量。 训练阶段 求出 的特征值 及其正交归一化特征向量 根据特征值的贡献率选取前p个最大特征向量及其对应的特征向量 贡献率是指选取的特征值的和与占所有特征值的和比，即： 训练阶段 一般取 即使训练样本在前p个特征向量集上的投影有99%的能量 求出原协方差矩阵的特征向量 则“特征脸”空间为： 训练阶段 第六步 将每一幅人脸与平均脸的差值脸矢量投影到“特征脸”空间，即 识别阶段 第一步：将待识别的人脸图像 与平均脸的差值脸投影到特征空间，得到其特征向量表示： 识别阶段 第二步：定义阈值 识别阶段 第三步：采用欧式距离来计算 与每个人脸的距离 识别阶段 为了区分人脸和非人脸，还需要计算原始图像 与由特征脸空间重建的图像 之间的距离 其中： 识别阶段 根据以下规则对人脸进行分类： 1)若 ，则输入图像不是人脸图像； 2)若 ，且 ， 则输入图像包含未知人脸； 3)若 ，且 ， 则输入图像为库中第k个人的人脸。 2D-PCA 2D-PCA是在基本PCA算法上的改进，主要不同是协方差矩阵构造方法不同，选取前P个最大特征值和特征向量也有所不同。 训练阶段 1设训练样本集合为： 其中： i表示第i个人，即类别数， j表示第i个人的第j幅图像 N表示识别的人数， K表示每个人包含K幅图像， M表示样本总数且M=NK 训练阶段 2 计算所有训练样本的平均图像 训练阶段 3计算样本的协方差矩阵： 训练阶段 4求出协方差矩阵的特征值，选取其中最大特征值 对应的正交特征向量 作为投影空间。 用投影矩阵Y的总离散度作为准则函数J (U)来衡量投影空间U的优劣： 训练阶段 Su是投影矩阵Y的协方差矩阵， 是 的迹，且： 选取的特征向量为 训练阶段 5 训练样本