什么是特征向量特征值矩阵分解1特征的数学意义我们先考察一.PDFVIP

什么是特征向量，特征值，矩阵分解 [1. 特征的数学意义] 我们先考察一种线性变化，例如 x,y 坐标系的椭圆方程可以写为 x^2/a^2+y^2/b^2=1，那么 坐标系关于原点做旋转以后，椭圆方程就要发生变换。我们可以把原坐标系的(x,y)乘以一个矩阵，得到一 个新的(x,y)的表示形式，写为算子的形式就是(x,y)*M=(x,y)。这里的矩阵M 代表一种线性变换：拉 伸，平移，旋转。那么，有没有什么样的线性变换b(b 是一个向量)，使得变换后的结果，看起来和让(x,y)*b 像是一个数b 乘以了一个数字m*b? 换句话说，有没有这样的矢量b，使得矩阵A*b 这样的线性变换相 当于A 在矢量b 上面的投影m*b? 如果有，那么b 就是A 的一个特征向量，m 就是对应的一个特征值。 一个矩阵的特征向量可以有很多个。特征值可以用特征方程求出，特征向量可以有特征值对应的方程组通 解求出，反过来也一样。例如，设A 为3 阶实对称矩阵，a1=(a,-a,1)T 是Ax=0 的解，a2=(a,1,-a)T 是(A+E)x=0 的解，a≠2,则常数a=? 因为a1=(a,-a,1)T 是Ax=0 的解,说明a1=(a,-a,1)T 是A 的属 于0 的特征向量，a2=(a,1,-a)T 是(A+E)x=0 的解，说明a2=(a,1,-a)T 是A 的属于-1 的特征向量。 实对称矩阵属于不同特征值的特征向量式正交的，所以a^2-a-a=0,a≠2,所以a=0。 还是太抽象了，具体的说，求特征向量的关系，就是把矩阵A 所代表的空间，进行正交分解，使得 A 的向量集合可以表示为每个向量a 在各个特征向量上面的投影长度。例如A 是 m*n 的矩阵,nm，那 么特征向量就是 m 个(因为秩最大是m)，n 个行向量在每个特征向量 E 上面有投影，其特征值v 就是权 重。那么每个行向量现在就可以写为 Vn=(E1*v1n,E2*v2n...Em*vmn)，矩阵变成了方阵。如果矩阵 的秩更小，矩阵的存储还可以压缩。再: 由于这些投影的大小代表了A 在特征空间各个分量的投影，那么 我们可以使用最小2 乘法，求出投影能量最大的那些分量，而把剩下的分量去掉，这样最大限度地保存了 矩阵代表的信息，同时可以大大降低矩阵需要存储的维度，简称PCA 方法。 举个例子，对于x,y 平面上的一个点(x,y)，我对它作线性变换，(x,y)*[1,0;0,-1]，分号代表矩阵 的换行，那么得到的结果就是(x,-y)，这个线性变换相当于关于横轴x 做镜像。我们可以求出矩阵[1,0;0,-1] 的特征向量有两个，[1,0]和[0,1]，也就是x 轴和y 轴。什么意思呢? 在x 轴上的投影，经过这个线性变 换，没有改变。在y 轴上的投影，乘以了幅度系数-1，并没有发生旋转。两个特征向量说明了这个线性变 换矩阵对于x 轴和y 轴这两个正交基是线性不变的。对于其他的线性变换矩阵，我们也可以找到类似的， N 个对称轴，变换后的结果，关于这N 个对称轴线性不变。这N 个对称轴就是线性变换A 的N 个特征向 量。这就是特征向量的物理含义所在。所以，矩阵A 等价于线性变换A 。 对于实际应用的矩阵算法中，经常需要求矩阵的逆：当矩阵不是方阵的时候，无解，这是需要用到 奇异值分解的办法，也就是A=PSQ，P 和Q 是互逆的矩阵，而S 是一个方阵，然后就可以求出伪逆的值。 同时，A=PSQ 可以用来降低A 的存储维度，只要P 是一个是瘦长形矩阵，Q 是宽扁型矩阵。对于A 非常 大的情况可以降低存储量好几个数量级。 [2. 物理意义] 特征向量有什么具体的物理意义? 例如一个驻波通过一条绳子，绳子上面的每个点组成一个无穷维 的向量，这个向量的特征向量就是特征函数 sin(t)，因为是时变的，就成了特征函数。每个点特征值就是 每个点在特定时刻的sin(x+t)取值。再如，从太空中某个角度看地球自转，虽然每个景物的坐标在不断的 变换，但是这种变换关于地球的自传轴有对称性，也就是关于此轴的平移和拉伸的坐标变换不敏感。所以 地球自转轴，是地球自转这种空间变换的一个特征向量。Google 的PageRank，就是对www 链接关系 的修正邻接矩阵的，主要特征向量的投影分量，给出了页面平分。有什么特性呢? AB 和BA 有相同的特征 向量设AB 的特征向量为x，对应的特征值为b，则有(AB)x = bx，将上式两边左乘矩阵B，得B(AB)x = (BA)(Bx) = b(Bx)，故b 为BA 的特征值，对应的特征向量为Bx。反之亦然。 什么是特征矩阵和特征值？我们用整