BP神经网络　百度百科.pdfVIP

BP神经⽹络　百度百科 　在⼈⼯神经⽹络发展历史中，很长⼀段时间⾥没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法 （BP 算法）的提出，成功地解决了求解⾮线性连续函数的多层前馈神经⽹络权重调整问题。 　　BP (Back Propagation)神经⽹络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个 过程组成。输⼊层各神经元负责接收来⾃外界的输⼊信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变 换，根据信息变化能⼒的需求，中间层可以设计为单隐层或者多隐层结构；最后⼀个隐层传递到输出层各神经元的信息，经进 ⼀步处理后，完成⼀次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进⼊误 差的反向传播阶段。误差通过输出层，按误差梯度下降的⽅式修正各层权值，向隐层、输⼊层逐层反传。周⽽复始的信息正向 传播和误差反向传播过程，是各层权值不断调整的过程，也是神经⽹络学习训练的过程，此过程⼀直进⾏到⽹络输出的误差减 少到可以接受的程度，或者预先设定的学习次数为⽌。 　　BP神经⽹络模型BP⽹络模型包括其输⼊输出模型、作⽤函数模型、误差计算模型和⾃学习模型。 　　（1）节点输出模型 　　隐节点输出模型：Oj=f(∑Wij×Xi-qj) (1) 　　输出节点输出模型：Yk=f(∑Tjk×Oj-qk) (2) 　　f-⾮线形作⽤函数；q -神经单元阈值。 　　图1典型BP⽹络结构模型 　　（2）作⽤函数模型 　　作⽤函数是反映下层输⼊对上层节点刺激脉冲强度的函数⼜称刺激函数，⼀般取为(0,1)内连续取值Sigmoid函数： f(x)=1/(1+e)（3） 　　（3）误差计算模型 　　误差计算模型是反映神经⽹络期望输出与计算输出之间误差⼤⼩的函数： 　　Ep=1/2×∑(tpi-Opi) (4) 　　tpi- i节点的期望输出值；Opi-i节点计算输出值。 　　（4）⾃学习模型 　　神经⽹络的学习过程，即连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。BP⽹络有师学习⽅式-需 要设定期望值和⽆师学习⽅式-只需输⼊模式之分。⾃学习模型为 　　△Wij(n+1)= h ×Фi×Oj+a×△Wij(n)（5） 　　h -学习因⼦；Фi-输出节点i的计算误差；Oj-输出节点j的计算输出；a-动量因⼦。 BP神经⽹络的应⽤及不⾜ 　　神经⽹络可以⽤作分类、聚类、预测等。神经⽹络需要有⼀定量的历史数据，通过历史数据的训练，⽹络可以学习到数据 中隐含的知识。在你的问题中，⾸先要找到某些问题的⼀些特征，以及对应的评价数据，⽤这些数据来训练神经⽹络。 　　虽然BP⽹络得到了⼴泛的应⽤，但⾃⾝也存在⼀些缺陷和不⾜，主要包括以下⼏个⽅⾯的问题。 　　⾸先，由于学习速率是固定的，因此⽹络的收敛速度慢，需要较长的训练时间。对于⼀些复杂问题，BP算法需要的训练 时间可能⾮常长，这主要是由于学习速率太⼩造成的，可采⽤变化的学习速率或⾃适应的学习速率加以改进。 　　其次，BP算法可以使权值收敛到某个值，但并不保证其为误差平⾯的全局最⼩值，这是因为采⽤梯度下降法可能产⽣⼀ 个局部最⼩值。对于这个问题，可以采⽤附加动量法来解决。 　　再次，⽹络隐含层的层数和单元数的选择尚⽆理论上的指导，⼀般是根据经验或者通过反复实验确定。因此，⽹络往往存 在很⼤的冗余性，在⼀定程度上也增加了⽹络学习的负担。 　　最后，⽹络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的⽹络就需要从头开始训练，对于以前 的权值和阈值是没有记忆的。