盲源分离之极大似然ICA算法.docVIP

极大似然独立成分分析算法 一、似然度 极大似然估计可以解释为：采纳那些使观测向量具有最大概率的估计参数值。 设是对观测向量的概率密度的估计，源信号的概率密度函数为，根据线性变换下两个概率密度函数之间的关系，观测数据的概率密度函数的估计与源信号概率密度函数满足 对于给定的模型，观测数据的似然函数是模型参数的函数，定义为 当模型参数为分离矩阵时，对数似然函数为 式中，为独立同分布观测数据的样本数，最大化此似然函数就可获得关于参数的最优估计。 二、Infomax算法 Infomax算法即为信息传输极大化算法。 图1 Infomax算法框图 由图1可知，Infomax算法是一种基于信息论的前向反馈自组织神经网络的算法，其中为多路观测信号向量，它是由个独立源线性混合而成，网络输出是对真实源的逼近。为可逆单调非线性函数，非线性输出为。独立性判据为最大信息传输准则，即通过对分离矩阵 (神经网络的连接权值矩阵)的调整寻找优化的，使网络输出和输入之间的互信息达到最大。由信息论可知 式中，为网络联合输出熵；为输出的条件熵。若系统存在噪声，即，有，则上式可表示为 于是，和之间的互信息最大等价于网络联合输出熵最大(噪声与系统无关)。以网络输出的联合熵作为目标函数，由信息熵理论可知 式中，为非线性输出的边缘熵；为非线性输出之间的互信息，其值总是非负的，只有当非线性输出之间彼此相互独立时，。由互信息可知，单调可逆非线性映射对互信息没有影响，所以取最小值0时，也同时达到最小值零，于是各成分间相互统计独立，ICA问题得以解决。此时 式中，为输出的概率密度函数，因此最大化包含了最大化边缘熵和最小化互信息两个内容。选择熵作为目标函数是因为熵是一个随机变量无序性的度量及信息量大小(不确定信息的多少)的测度，的各成分统计独立性越高则相应的熵越大，所含信息也越多。可以证明，当非线性函数为源的概率密度函数的积分——累积分布函数时，边缘熵最大。由于在系统中，所以 其中，为分离矩阵的雅克比行列式的绝对值，即 得到 由上式可知，当已知时，的大小随而变，即随权值矩阵而变，将代入上式并求梯度，可得 (1) 对于(1)式的第一项，将权值按行展开为，为对应元素的代数余子式，由于 所以 式中，表示的伴随矩阵。 对于(1)式的第二项，可以将对数项展开，而对于某一个，展开项中只有一个与其相关，令 显然，第二项与有关，这样得到分离矩阵调整算法公式为 可以选择取值在0,1之间的单调递升函数，如Sigmod函数和tanh函数等。考虑语音信号一般为超高斯信号，采用固定形式为函数的非线性函数 参数调节公式为 (2) (3) 式中，为迭代次数；为学习率(通常是一个小于1的正数)。Infomax算法就按式(2)和(3)进行分离矩阵的迭代求解，知道算法收敛。采用自然梯度(或相对梯度)对式(2)进行化简，即在其右边乘以，于是式(2)化为 (4) 由于为正定矩阵，并不影响随机梯度下降算法的收敛，同时式(4)避免了矩阵的求逆过程，因而计算量明显降低，收敛速度加快。 缺点：由于Sigmod函数的微分所表示的概率分布函数是超高斯的(峰度为正)，因此Infomax算法只适用于超高斯源信号的盲分离。 三、扩展Infomax算法 实际观测信号通常是超高斯源和亚高斯源的混合信号，因此在传统Infomax算法基础上采用双概率模型，并在盲分离算法迭代过程中，根据分离结果的统计特性变化，动态切换概率模型，最终实现概率模型与真实源信号概率分布类型的统一，实现最佳的盲分离效果。 图2所示为扩展Infomax算法的原理框图，其中亚高斯概率密度模型为 (5) 图2 扩展Infomax算法原理框图 令，由式(5)及双曲正切函数的定义，可以得到 令及，则上式可以简化为 于是，分离矩阵的更新规则为 图2中的单峰超高斯概率密度模型为 式中，为具有零均值、单位方差的高斯密度函数； 同理，可计算出非线性函数为 因此，分离矩阵的更新规则为 引入维对角矩阵，称为概率密度切换矩阵，对角元素为峰度符号，取值根据归一化峰度的符号变化来确定。根据峰度的定义，有 对于高斯信号，；对于超高斯信号，；对于亚高斯信号，。扩展Infomax算法的分离矩阵的更新规则为 其中，超高斯信号：；亚高斯信号：。 总结，扩展Infomax算法过程如下： 输入：白化矩阵； 输出：独立成分； 具体步骤： ① 对信号进行去均值和白化处理； ② 初始化解混矩阵 (使用单位随机矩阵)； ③ 计算()和； ④ 调整； ⑤ 重复③，④两步直到收敛； ⑥ 得到独立成分。