PCA与ICA分析和总结.docxVIP

PCA 与 ICA PCA(principal components analysis) 就是主成分分析， 是数据 分析中常用到的一种方法。它是找出数据最主要的方向，并 将数 据向该方向投影。 ICA(Independent components analysis)就是独立成分分析。PCA 与 ICA 的区别主要在于假设条件不同。PCA 假设数据是呈高 斯或者说指数分布的，而ICA 则假设数据是相互独立的。所以在 实际处理中，ICA 在小样本集时效果较好，而对于大样本集， PCA 也能达到很好的效果。因为实际采样中，当采样样本较大时， 其 一般是呈高斯分布的。 PCA 的几个主要假设包括： 处理数据集是线性的，对于非线性问题，有核化 PCA 可以进行 处理，该方法主要是利用非线性权值对线性 PCA 进行扩展。 PCA 是使用中值和方差来进行概率分布的描述，而这种方 法仅 适用于样本呈指数分布的情形，所以 PCA 假设数据时呈高斯分布 的。 PCA 隐含着假设：数据具有较高的信噪比，所以具有最大方差 的方向被作为主元，而方差最小的方向被作为噪声，这是由 低通 滤波器的特性决定的。 主元正交：PCA 假设主元之间是正交的，这样假设有利于采用 线性代数的方法进行求解。PCA 和 ICA 性能的比较： 由于 PCA 假设的是样本呈高斯分布，所以其在大样本情况下效果 较好，而ICA 假设样本彼此独立，其效果受样本数量影响不大。 对于实验效果，PCA 的约束条件是要求各分量不相关，而 ICA 则 是要求严格独立，显然 ICA 约束比 PCA 要强很多，所以 ICA 的特征 提取能力比 PCA 要强很多。