多层前馈神经网络.docVIP

多层前馈神经网络 后向传播算法在多层前馈（multilayer feed-forward）神经网络上学习。这种神经网络的一个例子如图7.7所示。 输入层 输入层 隐藏层 输出层 … … … x1 x2 xi Oj Ok Wjk Wij 图7.7 一个多层前馈神经网络：训练样本X={x1,x2,……,xi}馈入输入层，每层之间存在加权连接，其中wij表示由某层的单元j到前一层的单元i的权 输入对应于每个训练样本度量的属性。输入同时提供给称作输入层的单元层。这些单元的加权输出依次同时地提供给称作隐藏层的“类神经元的”第二层；该隐藏层的加权输出可以输入到另一个隐藏层；如此下去。隐藏层的数量是任意的，尽管实践中通常只用一层。最后一个隐藏层的加权输出作为构成输出层的单元的输入。输出层发布给定样本的网络预测。 隐藏层和输出层的单元，有时称作neurnode（源于符号生物学），或输出单元。图7.7所示的多层神经网络具有两层输出单元。因此，我们称之为两层神经网络。类似地，包含两个隐藏层的网络称作三层神经网络，如此等等。如果其权都不回送到输入单元，或前一层的输出单元，网络是前馈的。如果每个单元都向下一层的每个单元提供输入，网络是全连接的。 给定足够多的隐藏单元，线性阈值函数的多层前馈神经网络可以逼近任何函数。 优点 通常较高的预测准确性 健壮性，当训练样本含有错误时 输出可以是离散的，真值，或一