独立成分分析Idependent Component Analysis ICA.pptVIP

独立成分分析Independent Component Analysis（ICA） 齐娟 2007-5-29 主要内容 ICA定义 ICA模型 ICA原理 ICA算法 ICA应用 PCAICA ICA定义 定义一：利用很少的先验知识将混合信息分离成独立分量的一种重要方法。 定义二：找到事物的一种合理表示，使得各分量最大化地独立。 20世纪八十年代才被提出。 cocktail-party problem 例子：cocktail-party problem cocktail-party problem ICA 模型(经典) xj = aj1s1 + aj2s2 + .. + ajnsn, 对于每一个 j x = As 条件：s和A均是未知的，只有x已知 目标: 通过x估计出A和s 每一个si成分统计独立 限制： 每一个成分都不是Gaussian分布（实际上未知） 混合矩阵A为方阵且可逆（这个限制可以放松） 结论：估计出A之后，我们就可以得到s（s= A-1x） Ambiguities of ICA Illustration of ICA 统计意义下说明 Illustration of ICA 通过x的统计性质，作一些假设的条件下,可以估计出A和s 统计概念 独立：两个随机变量y1和y2是相互独立的，如果y1的值不能为y2提供任何信息，反之亦成立。 用概率密度函数描述： 性质：给定两函数h1和h2有： 不相关：两随机变量是不相关的，如果 独立的肯定不相关，不相关的未必独立，即独立是比不相关更强的约束。 不可以是Gaussian分布 在假设条件中，各分量不允许是Gaussian分布 X1和x2都是标准Gaussian分布，联合概率密度函数： 没有边缘信息，即不包含A的 列向量的信息。 ICA估计的原理：non-Gaussianity 根据中心极限定理，独立随机变量的和在一定条件下趋近于高斯分布。即独立随机变量的和比原独立随机变量更接近高斯分布。 可以认为越具有高斯性，其独立性越差 反之， non-Gaussianity越强，独立性越强 ICA估计的原理：non-Gaussianity ICA 模型：x = As s=A-1x 令y=wTx.z=ATw, 则 y=wTx=wT As=zTs 这样的话y 是s的线性组合，y应该比s更具有高斯性，除非wT接近A-1。此时，y=wTx=A-1x=s。 也就是说y=s时，y具有最大非高斯性。 问题转化为求解w，它最大化wTx的non-Gaussianity性。 ICA 数值优化问题。 non-Gaussianity的度量 为了在ICA估计中使用non-Gaussianity，我们必须有一个对它的定性度量。 常用的有三种： Kurtosis Negentropy Approximations of negentropy Kurtosis 定义：y为随机变量，则 对于高斯分布， Kurtosis为零，大部分非高斯分布 Kurtosis不为零。 性质： 优点：计算和理论简单 缺点：对outliers敏感，不具有鲁棒性 Negentropy 基于信息论中熵的概念 定理：在所有随机变量，高斯分布的变量有最大熵。 定义Negentropy J为： yGauss是和y有相同协方差矩阵的高斯随机变量。 y为高斯分布时， Negentropy为零，其它分布时不为零。 计算起来太复杂，需要引入其近似值。 Negentropy的近似 经典近似： 和Kurtosis有同样的缺点：不鲁棒。 另一种近似： V是均值为零，方差为1的高斯随机变量，G是非二次函数 常取为： 计算简单快速，而且具有鲁棒性。后面介绍的算法即采用此种近似。 预处理－Centering 为了使算法更简单，一般会在采用具体算法前进行预处理。 Centering：使x变为均值为零的随机变量，减去m=E{x}即可。 纯粹为了简化计算，估计完A后，可以将s的均值补偿回去。s的均值向量为A－1 s。 预处理－whitening 对x进行线性变化，使变换后的x’是white的，即各分量不相关且 ，I为单位矩阵。 方法：特征值分解（EVD） 变换后A为正交矩阵A