复数前馈神经网络的全局最优和快速学习算法 algorithm with global minima and high learning speed for training complex-valued feedforward neural networks.pdfVIP

第 11 卷 第4 期 电路与系统学报 Vol.11 No.4 2006 年 8 月 JOURNAL OF CIRCUITS AND SYSTEMS August 2006 文章编号 1007-0249 (2006) 04-0009-07 * 复数前馈神经网络的全局最优和快速学习算法 南京邮电大学 计算机学院 江苏 南京210003 摘要 提出了一种新型复数前馈神经网络的学习算法 当输入层和隐层之间的权值计算出来后 就可以通过求解 线性方程组得到隐层和输出层之间的权值 这些权值是全局最小点 另一方面 本文算法很容易确定全局最小点时隐 层神经元的个数 本文算法具有很高的训练精度和学习速度 关键词 复数神经网络 全局最小 高训练精度 快速学习 中图分类号 TP183 TP18 TP301.6 文献标识码 A 1 引言 对于实数神经网络 人们已经进行了大量的研究 取得了许多研究成果 这些成果在许多领域都 有广泛的应用[1] 但是 在一些应用领域 如信号处理等 常常需要训练复数样本 而对于复数样本 的训练问题 需要进行复数前馈神经网络的学习算法的研究 复前馈神经网络的研究有本身的理论价 值 也有广泛的应用背景 文献 对复数前馈神经网络进行了研究 给出了复数反向传播算法 即复数 算法 但是 [2,3] BP 复数 算法同样会面临着实数 算法一样的困难 即局部极小 收敛速度慢 难以确定隐层神经元 BP BP 的个数等缺点 文献 将文献 的结果推广到了复数域 从另一个角度研究了复数前馈神经网络的学习算法 该 [4] [5] 算法是分层优化算法 需要进行迭代计算 算法中的一些参数需要人为选择 同样存在局部极小 速 度慢等问题 针对复数前馈神经网络学习算法的局部极小和收敛速度慢的缺点 本文提出了一种全新的算法 该算法可以方便地求得全局最小点 计算机仿真实验说明了本文算法具有很块的运算速度 另外 本 文方法可以方便地确定隐层的神经元个数 这对于神经网络的结构设计是非常有利的 2 复数前馈神经网络的概念 复数前馈神经网络是针对实前馈网络而提出的 在实前馈网络中 所有的参数 如各层权值及阈 值都是实数 各个神经元的变换函数都是实变函数 相应地如果将所有连接参数 如各层权值及阈值 都推广为复数 各神经元的变换函数都推广为复变函数 则该前馈网络就成为复数前馈神经网络 本文的目的是寻求能获得全局最优解的复数前馈神经网络的学习算法 下面先对网络结构及要研 究的问题作一个简要的说明 希望对给定的离散样本对(x , t ) 下标 代表样本序号 假设总共有 个 p p p s 样本 则p = 1, 2 , ⋅ ⋅ ⋅, s 寻求一个三层 一个输入层 一个隐层和一个输出层 神经网络实现映射 其中 分别是 维复数矢量 列矢量 即 m n 每一个 及 可 M : x → t x t m n x ∈ C t ∈ C x t p p p p p p p p 分别写成 其中 及 分别代表第 个输入样本 的实部和虚 x x x t t t x x x