基于信息论的独立分量分析算法基于信息论的独立分量.docVIP

PAGE PAGE 31 第3章 基于信息论的独立分量分析算法 PAGE 第3章 基于信息论的独立分量分析算法 3.1 引言 由于没有任何参照目标，学习只能是自组织的。学习过程的第一步：建立一个以为变元的目标函数,如果某个能使达到极大（小）值，该即为所需的解。第二步：用一种有效的算法求。按照定义的不同和求的方法不同可以构成各种ICA算法。ICA方法可归结为如下式子：ICA方法＝目标函数＋优化算法。由ICA的性质可知ICA以统计独立为基本原则，统计独立的衡量为ICA算法的关键。因此需选择一个恰当的目标函数。目标函数给定后，可以采用经典的优化算法最优化目标函数，如梯度法、拟牛顿法等。ICA方法的特性取决于目标函数和优化算法两项。ICA方法的统计特性（如一致性、鲁棒性）取决于目标函数的选取；算法特性（收敛速度、内存要求）取决于优化算法的选择。对于同一个目标函数可以有不同的优化算法，同一个优化算法可应用于不同的目标函数。衡量一个优化算法的主要性能指标有收敛速度，占用内存情况，稳定性等。算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。基于信息论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。如FastICA算法, Infomax算法，最大似然估计算法等。基