ICA的共轭下降法.pdfVIP

ICA 的共轭下降法 邹琪 罗四维 （北方交通大学计算机与信息技术学院北京 100044 ） 摘 要：独立分量分析 （ICA ）作为有效的盲源分离技术 （BSS ）是信号处理领域的热点。本文在分析现有 的ICA 算法的基础上提出了以最小互信息为准则函数的ICA的共轭下降算法，并将该算法与传统的算法在 计算效率和收敛性方面进行了比较，该算法的迭代次数由传统算法的约 2000次减少至不超过 300次。适 当地选取对比函数可实现全局收敛，并简要分析了对比函数的选取准则。模拟实验证明该算法收敛速度快， 而且对初始点不敏感，在健壮性方面具有较好的性能。 关键词：信号处理；独立分量分析；共轭梯度算法；对比函数；全局收敛性 中图分类号：TN911 文献标识码：A Independent Component Analysis of Conjugate Descent Algorithm ZOU Qi , LUO Si-wei (School of Computer and Information Technology , Northern Jiaotong University, Beijing 100044,China) Abstract ：The Independent Component Analysis as a method widely used in blind source separation is a hotspot in signal processing.Based on analysis of existing algorithms, we give conjugate gradient algorithm using minimal mutual information criteria. We also compares the algorithm with traditional algorithms in speed, which reduces times of iterations from about 2000 to not more than 300 , and analyses briefly criterion of selecting contrast function to realize global convergence. At last, simulation experiments prove its good convergence and robust. Key words: signal processing; Independent Component Analysis (ICA); Conjugate Gradient algorithm; contrast function; globle convergence 近年来，把独立分量分析用于盲源分离已成为语音，通信，生物医学和地震等各个领域的热点。盲源 分离 （Blind Source Separation, BSS ）是指在源信号和传输通道参数未知的情况下，仅由观测到的信号恢复 出源信号的各个独立分量的过程。 自Comon[1]提出 ICA 的理论框架以来，已有多种 ICA 算法用于解决各类实际问题。其中最具代表性 的有：由Bell 提出的基于信息最大化 （Informax ）的自组织神经网络 [2] ，由 Oja 和 Hyvarinen 提出的固定 点算法[3] [4] ，以及由Amari 提出的极大似然自然梯度算法 。其中，固定点算法以牛顿迭代法优化互信息极 小的目标函数，收敛速度较快 （具有二阶收敛性），但对初始值的选择较敏感。随机选择的初始值有可能 导致不收敛，因为牛顿迭代法收敛的条件是初始梯度方向为下降方向。Bell 和 Amari 分别将随机梯度和自 然梯度引入训练规则，虽然对初始值选择的要求相对较低，具有较好的稳健性，但收敛速度较慢 （具有一 阶线性收敛性）。针对这些问题，本文作者提出了 ICA 的共轭下降算法，该算法的收敛速度可以达到二阶， 而且对初始值的敏感性较低