矩阵的特征值与特征向量.pdfVIP

矩阵的特征值与特征向量

A

1、定义：设A是n阶方阵，如果数λ和n维非零列向量x使关系式x=λx成

立，那么这样的数λ称为矩阵A特征值，非零向量x称为A的对应于特征值

λ的特征向量。

A

意义：式x=λx也可写成(A-λE)X=0。这是n个未知数n个方程的齐次线

性方程组，它有非零解的充分必要条件是系数行列式|A-λE|=0。

2、应用：

（1）矩阵变换：矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向

或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩

的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生

旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。

（2）矩阵分解：（实例：主成分分析

PCA、向量奇异值分解SVD）

如果说一个向量v是方阵A的特征向量，将可以表示成下面的形式：

这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组

正交向量。特征值分解是将一个矩阵分解成下面的形式：

其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线

上的元素就是一个特征值。首先，要明确的是，一个矩阵其实就是一个线性变换，

因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性

变换。比如说下面的一个矩阵：

因为这个矩阵M乘以一个向量(x,y)的结果是：

上面的矩阵是对称的，所以这个变换是一个对x，y轴的方向一个拉伸变换（每

一个对角线上的元素将会对一个维度进行拉伸变换，当值1时，是拉长，当值

1时时缩短），当矩阵不是对称的时候，假如说矩阵是下面的样子：

它所描述的变换是下面的样子：

这其实是在平面上对一个轴进行的拉伸变换（如蓝色的箭头所示），在图中，蓝

色的箭头是一个最主要的变化方向（变化方向可能有不止一个），如果我们想要

描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。反过头来看

看之前特征值分解的式子，分解得到的Σ矩阵是一个对角阵，里面的特征值是由

大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主

要的变化到次要的变化排列）。

当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线

性变化可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变换

方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最

主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变

换）。也就是之前说的：提取这个矩阵最重要的特征。

总结：特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有

多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线

性的子空间。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。

（3）线性空间

在一个定义了内积的线性空间里，对一个N阶对称方阵进行特征分解，就是产

生了该空间的N个标准正交基，然后把矩阵投影到这N个基上。N个特征向量

就是N个标准正交基，而特征值的模则代表矩阵在每个基上的投影长度。特征

值越大，说明矩阵在对应的特征向量上的方差越大，功率越大，信息量越多。

（4）最优化：对于R的二次型，自变量在这个方向上变化的时候，对函数值的影

响最大，也就是该方向上的方向导数最大。

（5）数据挖掘（降维）：最大特征值对应的特征向量方向上包含最多的信息量，如

果某几个特征值很小，说明这几个方向信息量很小，可以用来降维，也就是删除小

特征值对应方向的数据，只保留大特征值方向对应的数据，这样做以后数据量减小，

但有用信息量变化不大。