多层神经网络1.docVIP

多层神经网络 灰书包资源共享联盟/文化产业资源下载基地/灰书包文化产业/文化创意产业灰书包 多层神经网络寻求的是一种在训练线性判别函数的同时学习其非线性程度的方法；决定非线性映射的参数的学习是与控制线性判别函数的参数的学习同时进行的。 两层网络只能实现一个线性判决边界，如果给出足够数量的隐单元，三层及更多层网络就可以实现任意的判决边界。各判决区不必是凸的或是单联通的。 多层神经网络的优点是算法简单，运行非线性函数的具体形式可以通过训练样本获得。 训练多层网络的方法即反向传播算法（BP算法），是基于误差的梯度下降准则（LMS算法）的一种自然延伸。 神经网络是一种可以适应复杂模型的非常灵活的启发式的统计模式识别技术。 反向传播有一些启发式技巧，我们可以对输入值的范围、初始权值、期望输出等参数值做出明智的选择。 网络拓扑在神经网络分类中起着重要作用。通过对隐含层的数目、节点单元个数、反馈节点的个数等选择，可将对问题非正式或启发式的知识嵌入到网络结构中。因此，网络拓扑的设置也是一种启发式的选择。 设置网络拓扑来选择模型、通过反向传播算法来估计参数，是测试各种可选模型的方法。 神经网络技术应用问题涉及到正则化，即选择或调整网络的复杂程度。  1 前馈运算和分类  如图的三层神经网络由一个输入层、一个隐含层、一个输出层组成。它们由修正的权值互连。除了连接输入单元，每个单元还连接着一个偏