神经网络中的若干问题的研究.pdf

摘 要 摘 要 上世纪八十年代初，由于美国著名生物物理学家J．J．Hopfield教授的杰出工 作，人工神经网络研究获得了复苏并很快推向高潮．此后，人工神经网络一直是 科学和工程上的一个研究热点．20多年来，人工神经网络研究取得了丰硕的成 果，其应用已经深入到经济、军事、工程、医学、保险、娱乐、以及科学的许多 领域．由于人工神经网络固有的模拟大脑智能的属性以及强大的计算能力，人工 神经网络研究深深地吸引了国际上许多优秀的科学家和一流的学术研究机构． 在Harvard大学，MIT，Boston大学等都有科学家从事神经网络方面的研究．另一 方面，人工神经网络的研究成果不断在许多国际一流学术刊物，如(Science)， Trans．Neural (Nature)。(IEEENetworks等上发表．所有这些均表明了人工 神经网络具有十分重要的科学地位． 本论文研究人工神经网络中十分重要和具有广泛应用的三个方面的问题：1． 主分量分析(PCA)神经网络学习算法；2．支持向量机(sVM)；3．一类回复式神经 网络的输出收敛性．全文共分三个部分． 第一部分研究PCA神经网络学习算法．PCA是一种统计学习方法。在信号 处理，模式识别，数字图像处理等领域具有非常广泛的应用．传统的数学方法 如QR分解和SVD应用于PCA时遇到的主要困难在于需要大量的计算而且不能 用于在线计算．PCA神经网络方法克服了传统方法所具有的缺点，特别适合于在 线计算，从而具有广泛的应用领域． PCA神经网络学习算法是PCA神经网络最重要的组成部分．迄今，科 学工作们已提出了多种PCA神经网络学习算法，其中Oja的PCA学习算法， Xu的LMsER PCA学习算法，推广的Hebbian PCA学习算法(GHA)等尤其影 响深远．在PCA神经网络学习算法中，收敛性是算法的最重要的性质之一， 它决定了算法能否真正在实际中获得应用．较长时间来，确定性连续时间方 法(DCT)--直是分析PCA神经网络学习算法的重要工具．近些年的研究表明， DCT方法获得的结果是不适用的．最近提出的确定性离散时间方法，BPDDT方 法，被认为是一种分析PCA神经网络学习算法的更有效但也是更难的方法．本部 分采用DDT方法对PCA神经网络学习算法的收敛性进行深入研究．主要研究内 PCA学习算法 容有：(1)应用确定性离散时间(DDT)方法，分析了xll的LMSER 的收敛性．建立了该算法的一个不变集和最终界，并严格证明了其局部收敛性． 摘 要 (2)提出了一种自适应的学习速率，保证了Oja的PCA学习算法的全局收敛性，加 速了算法的学习过程．并应用DDT方法严格证明了其全局收敛性．(3)GHA算法 是被广泛使用的计算多个主分量方向的算法．然而，离散的GHA算法的收敛性 分析是比较困难的．通过用DDT方法，严格证明了GHA：在自适应性学习速率下 的离散算法的全局收敛性．(4)通过自适应性地逼近数据集的实质维，提出了一 种改进的GHA算法．原有的GHA算法必须事先确定要计算的主分量方向的数量， 这在实际中是不现实的，对于在线计算尤其如此．使用改进的算法，主分量方向 数量能根据要求的精度自适应的收敛到数据集的实质维．因此，这个算法特别适 合于在线计算．(5)分析TPCA，MCA算法的混沌现象，获得了产生混沌的条件． (6)应用PCA神经网络于医学图像配准．提出了通过简单地对齐图像的第一主分 量方向和质心来实现图像快速配准的方法． 第二部分研究支持向量机(SVM)所面临的大数据样本问题和对噪声的敏感 性问题．SVM在解决小样本，非线性及高维模式识别问题中表现出许多特有的优 势．因而，SVM获得了广泛的应用．然而在处理大数据样本的时候，因为计算的 复杂性．不但传统的优化方法不能使用，而且sⅥ订学习过程非常缓慢．本部分提 出两种方法来解决这个问题．一是改进了序列最小优化(SMO)分解算法，简化了 其最小化过程，并分析了其收敛性．二是提出了用脉冲耦合神经网络(PCNN)研 究SVM的新方法．通过PCNN来选择一个几乎包括所有支持向量的样本子