智能科学系教材——数据分析基础对上式进行化简得1TlogL(B)=log.PDFVIP

智能科学系教材—— 数据分析基础 对上式进行化简得： n ) ∑ 1 log L() = log |det()| + E log p (T ) . (10.10) i i T i 这里的期望值是观测数据的平均值。极大似然估计的ICA方法可以概述为：似然函 数L的最大值所对应的矩阵 即是进行信号分离时的分离矩阵，这时对应的 = 就 ˆ 是源信号 的估计值, 即 = 。 极极极大大大似似似然然然估估估计计计算算算法法法 为了利用上述极大似然估计的ICA方法进行盲信号分离，需要利用最优化算法来求 与似然函数的最大值对应的分离矩阵。下面介绍两种不同的最优化算法来求分离矩 阵。 梯梯梯度度度法法法 求取极大似然函数的最简单的方法是梯度法，下面是两种梯度算法。 随机梯度法 对数似然函数1 log L()相对于的随机梯度是： T ( ) 1 ∂ log L() −T T = + E g () , (10.11) T ∂ 其中 g () = (g (y ), · · · , g (y ))T , n n p′ (10.12) ′ i g = (log p ) = . i i pi 这样就得到了下面的极大似然估计算法。 −T ( T ) ∆ ∝ + E g () . (10.13) 这种随机梯度算法的在线（或自适应）形式为 ∆ ∝ −T + g ()T . (10.14) 这时每次迭代只需要一个采样数据。随机梯度算法是由Bell 和Sejnowski提出的, 故通常 又叫做Bell-Sejnowski 算法。 这一算法的主要缺点是: 收敛速度慢, 同时由于涉及分离矩阵的求逆, 一旦在更 新过程中条件数变差, 算法就可能发散。 自然梯度法 自然梯度又称相对梯度。利用自然梯度可以使得极大似然的求解得到 极大简化，且条件数也得到优化，因此算法收敛速度可以得到明显提高。在随机梯度 算法公式(10.13)的右边乘上T , 就得到了如下自然梯度算法公式： ∆ ∝ ( + E ( T ) . (10.15)