PCA降维在MATLAB上的实现.docVIP

PCA降维在MATLAB上的实现 学 院 计算机科学与技术 专 业 计算机科学与技术 年 级 2011级 姓 名 周忠儒 /王云标 学 号 30111216058/051 指导教师 魏建国 2014年 5月 28日 PCA降维在MATLAB上的实现 TOC \o 1-3 \h \u 32538 一 实验目的 2 3986 二 实验环境 2 21415 三 实验原理 2 10589 1、PCA降维方法原理 2 31495 2、MATLAB 3 9109 3、PCA降维方法详解 3 20350 1） 、原始数据： 3 8314 2）、协方差矩阵的求法： 4 7951 3）、计算协方差矩阵的特征向量和特征值： 6 16296 4）、选择成分组成模式矢量： 6 30207 5）、得到降维后的数据： 7 769 四 实验代码详解 7 8857 五 实验结果 8 11239 六 实验总结 9 PCA降维在MATLAB上的实现 一 实验目的 1 掌握PCA降维的基本内容 2 了解MATLAB的基本用法 3 用PCA降维算法处理图像数据 二 实验环境 Matlab 7.0 三 实验原理 1、PCA降维方法原理 PCA的原理就是将原来的样本数据投影到一个新的空间中，相当于我们在矩阵分析里面学习的将一组矩阵映射到另外的坐标系下。通过一个转换坐标，也可以理解成把一组坐标转换到另外一组坐标系下，但是在新的坐标系下，表示原来的原本不需要那么多的变量，只需要原来样本的最大的一个线性无关组的特征值对应的空间的坐标即可。 PCA即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题时，比如经常用的图像的查询问题，在一个几万或者几百万甚至更大的数据库中查询一幅相近的图像。这时，我们通常的方法是对图像库中的图片提取响应的特征，如颜色，纹理，sift，surf，vlad等等特征，然后将其保存，建立响应的数据索引，然后对要查询的图像提取相应的特征，与数据库中的图像特征对比，找出与之最近的图片。2、MATLAB MATLAB（矩阵实验室）是MATrix LABoratory的缩写，是一款由美国The MathWorks公司出品的商业数学软件。MATLAB是一种用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。除了矩阵运算、绘制函数/数据图像等常用功能外，MATLAB还可以用来创建用户界面及与调用其它语言（包括C，C++和FORTRAN）编写的程序。 3、PCA降维方法详解 1）、原始数据： 由于本实验数据过于庞大，为了方便，我们假定数据是二维的，借助网络上的一组数据，如下： x=[2.5, 0.5, 2.2, 1.9, 3.1, 2.3, 2, 1, 1.5, 1.1]Ty=[2.4, 0.7, 2.9, 2.2, 3.0, 2.7, 1.6, 1.1, 1.6, 0.9]T 2）、计算协方差矩阵 （1）协方差矩阵： 以下是含有n个样本的集合中，一些数理统计的相关概念： 均值： 标准差： 方差： 在这里，标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，例如上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解这几科成绩之间的关系，这时，我们就要用协方差，协方差就是一种用来度量两个随机变量关系的统计量，其定义为： 从协方差的定义上我们也可以看出一些显而易见的性质，如： cov(X,Y)=var(X); cov(X,Y)=var(Y,X); 需要注意的是，协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算个协方差，那自然而然的我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义： 这个定义还是很容易理解的，我们可以举一个简单的三维的例子，假设数据集有三个维度，则协方差矩阵为： 可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。 2）、协方差矩阵的求法： 协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。下面我们将在matlab中用一个例子进行详细说明： 首先，随机产生一个10*3维的整数矩阵作为样本集，10为样本的个数，3为样本的维数。MySample = fix(rand(10,3)*50) 根据公式，计算协方差需要计算均值，那是按行计算均值还是按列呢，我一开始