多层人工神经网络合理结构确定方法.pdf

第 卷第 期 东 北 大 学 学 报 （ 自 然 科 学 版 ） ， 2 4 1 Vol .24 No. 1 年 月 （ ） 2 0 0 3 1 Journal of Northeastern university Natural science Jan . 2 0 0 3 !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 文章编号： （ ） 1005-3026 2003 01-0035-04 多层人工神经网络合理结构的确定方法 ， 1 2 2 1 2 侯祥林 ，胡 英 ，李永强 ，徐心和 （ 东北大学 理学院，辽宁 沈阳 ； 东北大学 信息科学与工程学院，辽宁 沈阳 ） 1 . 110004 2 . 110004 摘 要：隐层结构如何选择是多层人工神经网络应用中一个关键问题 基于多层神经网络优化 · 算法原理和非线性方程理论，建立了多层神经网络计算输出和理想输出关系的非线性方程组，分析 了权阈变量、标准样本数量和输出层单元数量的内在关系，给出隐层层数和每个隐层单元数量选取 应该满足的基本条件 提出多层神经网络合理结构，即隐层层数和每个隐层单元数量选取的一般原 · 则，给出隐层结构定量求解的直接计算方法和间接优化计算方法 对具体算例进行了合理结构分析， · 通过神经网络优化算法对多种结构组合比较，表明所提出的合理结构分析方法的正确性 这种方法 · 将为多层神经网络在工程应用中如何选取合理结构提供理论依据和选取有效方法· 关 键 词：多层神经网络；隐层结构分析；隐层层数；隐层单元数量；非线性方程组；神经网络优 化算法 中图分类号：TP 13 文献标识码：A ［ ］ 多层人工神经网络 1!6 在应用中有两个相 互依存的关键问题，一个是高精度收敛问题，另一 个是如何构造合理结构问题 神经网络来解决实 · 际问题时，输入层单元数量、输出层单元数量和标 准样本数量是给定的，隐层层数和每个隐层的单 元数量确要由使用者给出 给的过多，将出现设计 · 变量过剩；给的过少，将出现不能满足神经网络精 图 多层神经网络 1 度现象 因此如何给出合理的隐层层数和每个隐 Fi . 1 Mu l t i-l a er neu ral network · g y 层单元数量非常重要 本文基于神经网络共轭梯 · 在神经网络学习过程中，就是要确定未知的