ica方法的原理和应用综述.docxVIP

ica方法的原理和应用综述 1 独立成分分析法 请想象一下。在一个房间里的不同位置放置两个麦克风，两个人说两个人在讲故事。两个麦克风可以同时记录两个时间信号。仅使用这两个记录信号来估计原始两个语音信号是非常重要的，即所谓的“鸡尾酒会”。 独立成分分析法(ICA)最初是用来解决“鸡尾酒会”问题.由于主成分分析(PCA)和奇异值分解(SVD)是基于信号二阶统计特性的分析方法,其目的用于去除图像各分量之间的相关性,因而它们主要应用于图像数据的压缩;而ICA则是基于信号高阶统计特性的分析方法,经ICA分解出的各信号分量之间是相互独立的.正是因为这一特点,使ICA在信号处理领域受到了广泛的关注.随着近年来在ICA方面研究兴趣的增加,使它在许多领域也有了非常有趣的应用. 2 独立成分分析 2.1 统计独立的概念及基本定义 ICA是近几年才发展起来的一种新的统计方法.该方法的目的是,将观察到的数据进行某种线性分解,使其分解成统计独立的成分.最早提出ICA概念的是Jutten和Herault,当时他们对ICA给出了一种相当简单的描述,认为ICA是从线性混合信号里恢复出一些基本的源信号的方法. 为了给ICA下一个严格的定义,这里需要使用一个隐藏的统计变量模型 x=As(1) 式(1)中的统计模型称为独立成分分析,或者ICA模型,它表示被观察到的数据是如何由独立成分混合而产生的.独立成分是隐藏的变量,意味着它不能直接被观察到,而且混合矩阵也被假设为未知的.所有能观察到的仅仅只是随机向量x,必须估计出A和s,而且必须在尽量少的假设条件下完成它. ICA的出发点非常简单,它假设成分是统计独立的,而且还必须假设独立成分是非高斯分布的.统计独立的概念将在下面给出定义,为了简单起见,还得假设未知的混合阵为方阵.如果能计算出A的逆W,这样独立成分可由下式得到 s=Wx(2) 式(1)中的ICA模型存在如下的两个不确定性因素:(i)不能确定独立成分的方差;(ii)不能确定独立成分的顺序. ICA方法与盲源信号分离 (BSS)方法非常接近.这里“source”指的是原始信号即独立成分,像“鸡尾酒会”问题上的说话者;“blind”指我们对混合阵几乎未知,对原始信号进行很少的假设.给定M个混合信号,ICA能同时估计出M个成分或K≤M个成分,ICA有可能是BSS中用得最广泛的一种方法. 在许多实际应用中,模型中都含有噪声.但为了简单起见,在模型中我们将忽略噪声的影响,有噪声的ICA见文献. 由于统计独立是ICA方法的前提,在开始讲述ICA模型估计的方法前,首先将给出独立的确切定义. 2.2 概率函数h/h3 学术上,独立性的定义由概率密度来定义.如果定义两个随机变量y1和y2是独立的,当且仅当联合概率密度可按下式分解:p(y1,y2)=p1(y1)p2(y2)该定义可扩展到n个随机变量,这种情况下联合密度是n个随机变量的乘积.该定义对独立的随机变量可衍生一个重要的特性:给定两个函数h1和h2,总是有E{h1(y1)h2(y2)}=E{h1(y1)}E{h2(y2)}由于随机变量的概率密度一般都未知,从而从概率的角度来度量独立存在着一定的难度,因此我们建议采用上面这种方法.而在文献中,则是从另外一种角度来理解独立的概念.对两个随机变量x和y,如果Cov(x,y)=E[xy]-E[x]E[y]=0,那么x和y不相关;如果E[xpyq]-E[xp]E[yq]=0,p和q对任何整数都成立,那么x和y统计独立. 从上面的推导可知,如果x和y独立,那么它们一定不相关;相反,如果x和y不相关,则并不意味着它们是独立的.因为独立即意味着不相关,因此总是给定独立成分的不相关估计.这样不仅减少了参数数目,而且简化了问题.由此可得出,这两种对独立的定义方法是相通的.只不过文献依赖于对相关性的定义,它是理解独立这个概念更直观、更简便的一种方法. 2.3 投影法独立成分 ICA和投影法是分离混合物为单个独立成分的两个相关的方法.投影法(Projection Pursuit)也是统计学里发展起来的一种方法,它的目的是为多维数据找到有意义的投影.这种方法可用来对数据进行最优化,例如密度估计.在最基本的1-D投影法里,尽量找到这样的方向使数据在该方向上的投影具有有意义的分布. 一般来说,所有非高斯测量及相应的ICA算法都可称作投影法的算法,特别是,投影法允许独立成分比原来的变量少.假设独立成分所张成的空间没有充满高斯噪声,计算非高斯投影的方向,实际上是估计的独立成分;当所有的非高斯方向都被找到时,所有的独立成分实际上也已经被估计完了,这种程序可称为投影法和ICA的混合.然而我们应看到,投影法并没有关于独立成分的数据模型和假设.如果ICA模型成立,ICA非高斯测量的优化将产生独立成分;如果模型不成立