PCA基础介绍.ppt

识别阶段（4/5） 第三步：根据前面计算的欧式距离，找出与测试图像最小的图像标签，即为测试图像的标签 ： 识别阶段（5/5） 数据库中最接近的图 测试图 Qusetions? Company LOGO PCA和LDA 葛永新 Contents 特征脸的物理含义 关于主成分的理解 作者信息 论文信息 训练阶段 识别阶段 论文信息 Turk M，Pentland A．Eigenfaces for recognition[J]．Joumal of Cognitive Neumseience，1991，3(1)：71—86.  作者信息（1/2） Matthew Turk Professor Computer Science Department Media Arts and Technology Program University of California, Santa Barbara ? Research interests: Computer vision and imaging, perceptual interfaces, multimodal interaction, human-computer interaction, gesture recognition, artificial intelligence/~mturk/ 作者信息（1/2） Prof. Alex Paul Pentland Toshiba Professor of Media, Arts, and Sciences Massachusetts Institute of Technology /~pentland Director, Human Dynamics Laboratory Director, Media Lab Entrepreneurship Program  关于主成分的理解（1/3） 五行是一种哲学观，认为万事万物都是由金木水火土这五种要素组成 西方人：所有事物都是由元素周期表中的103种元素组成的 水： H2O = 2*H + 1*O 线性代数 寻找基向量的过程 关于主成分的理解（2/3） PCA的基础就是K-L变换，是一种常用的正交变化 ， K-L变换思想如下： 假设X为n维随机变量，X可以用n个基向量的加权和表示 其中 是加权系数， 是基向量，其矩阵表示形式是 其系数向量为 关于主成分的理解（3/3） 综上所述，K-L展开式的系数可用下列步骤求出 求随机向量X的自相关矩阵R=E（XTX），通常我们采用数据集的协方差矩阵作为K-L坐标系的产生矩阵； 求出自相关矩阵或协方差矩阵的特征值 和特征向量 ， ； 3. 展开式系数即为 ，由正交性可得 ，此二式为K-L变换公式 特征脸的物理含义（1/4） 比如ORL人脸数据库中有400幅人脸图像，是不是可以 找到一组基，让所有的人脸库中的人脸都可以用这组基的线性组合来表示 特征脸的物理含义（2/4） 意义何在？ 1. 维度大大减少 假设数据库中的图像大小为112*92，那么存储这些图像所需要的空间大小为112*92*200=4121600；假设我们寻找一组基，不妨假定为40维（即40幅人脸图像），则数据库中的每幅图像都可以用这40幅图像表示，则这个数据库所需的存储空间为40*400=16000； 对比：4121600/16000=257.6 特征脸的物理含义（3/4） 意义何在？ 2. 投影方向区分度大 命题1：随机变量方差越大，包含的信息越多，特别地，如果一个变量方差为0，则该变量为常数，不包含任何信息。 命题2：所有原始数据在主分量上的投影方差为特征值。 PCA思想：寻找主分量，即寻找一组向量，使得原始数据在这组向量上的投影值的方差尽可能大。最大方差对应的向量就是第一主分量，以此类推 特征脸的物理含义（4/4） 意义何在？ 3. 去除原始数据的相关性 t=COV(X,Y), t=1,相关；t=0，不相关 命题：对于矩阵A来说，如果AAT是一个对角矩阵，则A中的向量是非相关的。 1）特征脸，即基是正交的，非相关 2）投影系数，可以证明也是非相关的 训练阶段（1/12） 训练阶段即是寻求最优特征脸（基） 第一步：假设训练集有400个样本，由灰度图组成，每个样本的大小为M