因子分析（FactorAnalysis.pdf

因子分析（Factor Analysis ） JerryLead@ISCAS csxulijie@ 2011 年5 月11 日 1 问题 ( ) 之前我们考虑的训练数据中样例x 的个数m 都远远大于其特征个数n，这样不管是进 行回归、聚类等都没有太大的问题。然而当训练样例个数 m 太小，甚至 m<<n 的时候，使 用梯度下降法进行回归时，如果初值不同，得到的参数结果会有很大偏差（因为方程数小于 参数个数）。另外，如果使用多元高斯分布(Multivariate Gaussian distribution)对数据进行拟合 时，也会有问题。让我们来演算一下，看看会有什么问题： 多元高斯分布的参数估计公式如下： 1 ( ) μ = ∑ =1 1 ( ) ( ) Σ = ∑ ( − μ) ( − μ) =1 ( ) 分别是求mean 和协方差的公式，x 表示样例，共有m 个，每个样例n 个特征，因此 μ是n 维向量，Σ是n*n 协方差矩阵。 | | −1 当m<<n 时，我们会发现Σ是奇异阵（Σ = 0 ），也就是说Σ 不存在，没办法拟合出多 元高斯分布了，确切的说是我们估计不出来Σ 。 如果我们仍然想用多元高斯分布来估计样本，那怎么办呢？ 2 限制协方差矩阵 当没有足够的数据去估计Σ时，那么只能对模型参数进行一定假设，之前我们想估计出 完全的Σ （矩阵中的全部元素），现在我们假设Σ就是对角阵（各特征间相互独立），那么我 们只需要计算每个特征的方差即可，最后的Σ只有对角线上的元素不为0 1 ( ) Σ = ∑( − )2 =1 回想我们之前讨论过的二维多元高斯分布的几何特性，在平面上的投影是个椭圆，中心 点由μ决定，椭圆的形状由Σ决定。Σ如果变成对角阵，就意味着椭圆的两个轴都和坐标轴平 行了。 如果我们想对Σ进一步限制的话，可以假设对角线上的元素都是等值的。 = 2 其中