模式识别主成分分析和变换.pptVIP

?????????????????????????????????????3.2主成分分析的几何解释平移、旋转坐标轴第31页，共67页，星期日，2025年，2月5日?????????????????????????????????????主成分分析的几何解释平移、旋转坐标轴?第32页，共67页，星期日，2025年，2月5日????????????????????????????????????主成分分析的几何解释平移、旋转坐标轴?第33页，共67页，星期日，2025年，2月5日?????????????????????????????????????主成分分析的几何解释平移、旋转坐标轴???????????????????????????????????????????????????????????????第34页，共67页，星期日，2025年，2月5日3.2.PCA:进一步解释椭圆有一个长轴和一个短轴。在短轴方向上，数据变化很少；在极端的情况，短轴如果退化成一点，那只有在长轴的方向才能够解释这些点的变化了；这样，由二维到一维的降维就自然完成了。第35页，共67页，星期日，2025年，2月5日二维数据第36页，共67页，星期日，2025年，2月5日进一步解释PCA当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。但是，坐标轴通常并不和椭圆的长短轴平行。因此，需要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。如果长轴变量代表了数据包含的大部分信息，就用该变量代替原先的两个变量（舍去次要的一维），降维就完成了。椭圆（球）的长短轴相差得越大，降维也越有道理。第37页，共67页，星期日，2025年，2月5日进一步解释PCA(续)对于多维变量的情况和二维类似，也有高维的椭球，只不过无法直观地看见罢了。首先把高维椭球的主轴找出来，再用代表大多数数据信息的最长的几个轴作为新变量；这样，主成分分析就基本完成了。注意，和二维情况类似，高维椭球的主轴也是互相垂直的。这些互相正交的新变量是原先变量的线性组合，叫做主成分(principalcomponent)。第38页，共67页，星期日，2025年，2月5日正如二维椭圆有两个主轴，三维椭球有三个主轴一样，有几个变量，就有几个主成分。选择越少的主成分，降维就越好。什么是标准呢？那就是这些被选的主成分所代表的主轴的长度之和占了主轴长度总和的大部分。有些文献建议，所选的主轴总长度占所有主轴长度之和的大约85%即可，其实，这只是一个大体的说法；具体选几个，要看实际情况而定。第39页，共67页，星期日，2025年，2月5日3.3.均值和协方差

特征值和特征向量

设有n个样本，每个样本观测p个指标（变量）：X1，X2，…，Xn,得到原始数据矩阵：第40页，共67页，星期日，2025年，2月5日1.样本均值显然,样本均值是数据散列图的中心.于是p*n矩阵的列B具有零样本均值,称为平均偏差形式M第41页，共67页，星期日，2025年，2月5日2.样本协方差中心中心协方差的大小在一定程度上反映了多变量之间的关系，但它还受变量自身度量单位的影响.注意：协方差是对称矩阵且半正定第42页，共67页，星期日，2025年，2月5日3.3特征值与特征向量定义Ａ为ｎ阶方阵，λ为数，为ｎ维非零向量，若则λ称为Ａ的特征值，称为Ａ的特征向量．注②并不一定唯一；③ｎ阶方阵Ａ的特征值，就是使齐次线性方程组①特征向量，特征值问题只针对与方阵；有非零解的λ值，即满足的λ都是方阵Ａ的特征值．定义称以λ为未知数的一元ｎ次方程为Ａ的特征方程．第43页，共67页，星期日，2025年，2月5日例1:从一个总体中随机抽取4个样本作三次测量,每一个样本的观测向量为:计算样本均值M和协方差矩阵S以及S的特征值和特征向量.第44页，共67页，星期日，2025年，2月5日SyntaxC=c