ICA 讲课解析.ppt

* * 这里把交叠的过程抽象成一个混合系统函数A的作用 ICA是20世纪90年代提出的，起初是神经网络的研究中有一个重要的问题，独立成分分析是一个解决问题的新方法。在许多应用方面，包括特征识别、信号分离。这种方法是用一种解线性方程组的估计方式求解信号源。 假想一下，在一个房间里的不同位置放着三个麦克风，同时有三个人说话。三个麦克风能同时记录下三个时间信号，如果仅用这三个记录的信号来估计出原来的三个语音信号，那将是一件非常有意义的事情，这也就是所谓的“鸡尾酒会”问题 。 一、问题的引入 鸡尾酒会问题： 从嘈杂的人声中提取所关心对象的声音。 ICA——一种盲源分离的方法 声音提取： 典型例子：“鸡尾酒会”的问题。 人的大脑可以很快辨出或集中听某种需要关注声音。 麦克风1 麦克风2 麦克风3 a为权重的参数，在鸡尾酒舞会问题中为距离，x为三个话筒得到信号，s为三个表演者的声音。这三个人的声音相对独立并且忽略所有的其他因素比如声音的时间延迟。 如果我们知道a的参数，也就是说知道距离，反解出s就很简单。（半盲源） 但ICA是在不知道a和Si(t)的情况下的一种估计的算法，也就是说的盲信号分离的一种算法。 根据源信号的统计特性，仅由观测的混合信号恢复(分离)出未知原始源信号的过程 雷达、声纳、通信、语音处理、地震预报和生物医学等 “盲” 源信号不可观测 混合系统的特性事先不可知 盲源分离（Blind Source Seperation） 信号的分离 盲源分离（Blind Source Seperation） 源图像 混合后的图像 分离后的图像 假设源信号由若干个统计上相互独立的信号组成的，它们在空间中形成交叠，ICA是借助于多个信道（话筒）同步观察交叠信号，将观察信号经过解混分解成若干独立成分，作为对源信号的一组估计。 W Two Independent Sources Mixture at two Mics 用线性方程组表示为 推广到一般： 这里 ,i,j=1,2,…,n是实系数 假定： sj 是独立的，称为独立成分（IC） 转换为向量-矩阵符号表示 ICA理论的目标是通过X求得一个分离矩阵W，使得W作用在X上获得的信号Y是独立源S的最优逼近。 ICA模型的约束 为了确保上边刚刚给出的基本的ICA模型能被估计，我们必须要做出一定的假设和约束。 1.独立成分被假定是统计独立的； 2.独立成分具有非高斯的分布； 3.假定混合矩阵是方阵，且可逆； 4.假定所有混合变量与独立成分都是零均值。 假设是ICA能够成立的前提 概念上理解： 我们说随机变量y1，y2..yn独立，是指在i≠j时，有关yi的取值情况对于yj如何取值没有提供任何信息。 技术角度上理解： 联合概率密度等于各边缘概率密度的乘积。 如果观测到的变量具有高斯分布，那么ICA在本质上是不可能实现的。 原因：如果s1和s2都是标准Gaussian分布，那么他们的联合概率密度为： 假定S经过混合矩阵A后，他们的联合概率密度仍不变化，因此我们没有办法在混合后的成分中得到混合矩阵A的信息。 换句话说，就是独立成分的个数与观测到的混合量个数相同。 零均值化的目的：去除均值对变换的影响，而减去均值后数据的信息量没有变化，即数据的区分度（方差）是不变的，减少幅度不确定性。 变量中心化（零均值化） （1）如果实际情况不满足零均值，可以通过中心化（centering）实现 （2）同时，独立成分也变为零均值的量 （3）混合矩阵可以保持不变，完成独立成分估计后，可以将独立成分加上 而恢复 白化（Whitening） 给定一些随机变量，通过线性变换将它们转换为相互无关的变量，这类方法称为白化或者球面化 白化的目的：消除特征之间的相关性，降低输入的冗余性通过白化可使输入具有如下特征： （1）特征之间相关性低； （2）所有特征值具有相同的方差。 （1）独立一定不相关 （2）不相关不一定独立 但是如果，X，Y服从二维正态分布，那么它们不相关与相互独立是等价的 （3）白化比不相关略强些 若一个零均值的随机向量y是白化的，那么它的各分量具有相同的单位方差且互不相关。即y的协方差矩阵是单位阵. （4）白化可以通过线性操作完成 给定n维随机向量x，寻找线性变换V(白化矩阵)，使得变量z投影到新的子空间后变成白化向量。 其中，E=(e1,e2,…,en)是以协方差矩阵 的特征向量的正交矩阵 D是以Cx的特征值的对角阵, （5）V不是唯一的白化矩阵 任何UV（U为