关于主成分分析的相关知识.docVIP

关于主成分分析 相关数据中的独立分量分解 的相关知识 设为个相互独立的零均值、单位方差平稳随机过程，现考察 个由组成的、彼此相关的随机过程，满足： 或 若已知的协方差矩阵，求矩阵； 已知矩阵、，求，； 已知的若干观测值，如何估计出矩阵以及的值 解： 1 上述矩阵方程中共有个方程，个未知数，方程组是超定的，如果有解，则必有唯一解。考虑到矩阵、的秩为，则的矩阵的秩为，由于，则必为奇异矩阵，考虑到协方差矩阵的非负定性，则必存在个大于0的特征根 按从大到小的顺序排列 以及个为0的特征根，将的个单位特征向量 每个向量中的所有元素值的平方和值为1 按对应的特征根的顺序构成特征向量矩阵，则根据矩阵理论，有 由于为对称矩阵，则根据矩阵理论，。对矩阵进行方块分解，设其前列组成的矩阵为，后列构成的矩阵为，考虑到 令： M行M列的对角矩阵 则有： K行K列的对角矩阵 由于 :K M, : M M 与A同为K行M列矩阵，根据唯一解性质，必有，其中为由的个非零特征根 按从大到小顺序排列 的根号值所组成的对角矩阵，为按相应顺序排列的特征向量组成的矩阵的前列 的矩阵 。 2 已知矩阵、，如果超定方程有解，则必有唯一解。 为的可逆方阵，则：。 3 可以根据的观测值得到相关矩阵的估计值，即 根据大数定理，当N趋于无穷时，与等价。当N有限时，接近，因此，是接近奇异的，有M个较大的特征根以及K-M个接近于0的特征根，设为由的个较大特征根 按从大到小顺序排列 的根号值所组成的对角矩阵，为的特征向量按相应顺序排列的组成的矩阵的前列 的矩阵 。则可以得到A的估计值为，进一步可以得到的估计值为： 练习：根据对称矩阵单位特征向量的正交性证明 。