【2017年整理】独立的成份分析.docVIP

独立的成份分析： 运算法则和申请 Aapo Hyv?rinen 和 Erkki Oja 类神经网路研究中心 芬兰首都赫尔辛基大学出版 邮政信箱 5400 、FIN-02015 HUT,，芬兰 类神经网路， 13(4-5):411-430,2000 摘要 类神经网路研究的一个基本的问题，连同在许多其他的训练中，正在发现一适当的 多变量数据的表现，也就是任意的矢量。因为计算、概念上单纯的依据，表现时常当做最初数据的线变形被寻找。换句话说，每个成份表现是最初变数的一个线组合。众所周知的线变形方法包括主要的成份分析、因素分析和投射追求。独立的成份分析（ICA）是一个最近才发展出的方法，在哪一个目标将如此找 非高斯(nongaussian) 数据的线表现成份从统计上来看是独立的，或尽可能独立的。如此的表现似乎能在许多申请中取得数据的必要结构，包括特征抽出和信号分离。 在这篇论文中，我们探讨基本理论和 ICA 的申请方法，以及我们最近的工作课题。 关键字： 独立的成份分析，投射追踪，无目的的信号分离，源分离，系数分析，表述 1 动机（行动方式） 假设，你在一个房间中，二个人正在同时地演讲。你有二个播音器，在不同的定线中将其持平。播音器可以提供两次被记录的报时讯号，我们会表示在x 1(t）和 x 2(t）处, 藉由 x 1 和 x 2 产生振幅，和 t 时间一同编入索引中。每个记录信号都是衡量过的。 是这二位演讲者发出的演讲信号的总数，我们藉由 s 1(t）和 s 2(t）代表.我们会把这 当做一个一次方程： x 1(t） = a11s 1+a12s 2 (1) x 2(t） = a21s 1+a22s 2 (2) a11,a12,a21, 和 a22的参数值则取决于播音器与演讲者之间的距离。如果你现在会猜测原始的语音信号，它将很可用。只有用s 1(t）和 s 2(t）代表, 用它们来记录信号 x 1(t）和 x 2(t）。这叫做酒会问题。暂时，我们忽略掉被单一化的混合模型的任何的时延或其他的额外传递因数。 以此为例，考虑波形图 1 和图 2. 这些当然，不是现实的演讲信号，但是做为一个例证足以。原始的演讲信号看起来会像图1而混合者信号会看起来像在图2那样 。问题将复原在图中的数据，只有使用图2的数据才能恢复图1中的数据。 事实上，如果我们知道限定要素，我们可以通过传统方法解出（1）中的方程。然而，关键是，如果你不知道，问题会更困难。 解决这个问题的一种方法是用（t）统计性质的一些信息来估计。事实上，也许很令人惊讶，假设(t)和(t)已经足够了。每一次的t都是统计独立的。在很多情况下，这并不是一个不现实的假设。 ….用A表示矩阵。通常，黑体的小写字母表示矢向量，黑体的大写字母表示矩阵。所有的向量当做列矢向量；比如，调换x，是一个行向量。使用这个向量－矩阵的记号法，上面混合模型表示为 X=As (4) 有时我们需要矩阵A的列；用表示的模型也可以写做 X= （5） 在Eq.(4)中的统计模型被称为独立成分分析，或ICA?模型。ICA?模型是一个产生模型，它描述的是被观测的数据是如何被一系列混合成分产生的。独立成分是潜在的变数，不能被直接观测。混合矩阵被假设是未知的。我们所获得的是任意向量x。我们必须用它估测A和s。这个必须尽可能在一般假设下完成。 ICA的起点是非常简单的假设。成分是统计独立的。统计独立将在第三节被严密地定义。下面会提到，我们也必须假设独立成分必须有非高斯分配。但是，在基本模型中，我们不假设这些分配是已知的（如果是已知的，问题会变得单一）。一般而言，我们也假设未知混合矩阵是方阵，但是这个假设有时候不严密。这个问题将会在第4、5节提到。在估测矩阵A后，我们可以计算它的逆矩阵，称为W，包含独立成分： S=Wx （6） ICA与盲源分离（BSS）或盲信号分离有紧密的联系。“源”在这儿的意思是最初的信号，也就是独立成分，就像一个酒会问题的说者。“盲”意思是我们对于盲目矩阵知道的很少，如果知道一点的话。对于信号来源不做假设。ICA?是一种方法，对于盲源分离来说，也许是最广泛使用的。 在多次应用中，假设在测量中有一些噪音（见例证Hyvarinen,1998a;Hyvarine