人工神经网络（ANN）方法简介.pptVIP

误差的后向传播 多层前向网的学习原理：基于适当定义的误差函数，在网络中调整权重矩阵和阈值等参数，使得误差函数极小化。 与单层前向网和感知器相比较，多层前向网由于隐层的存在，无法判别隐层神经元对输入误差的直接影响（无法知道隐层神经元的理想输出值）。因此，对参数权重矩阵和阈值的调整遇到困难。 1 2 M 2 1 ?x1 N ?y1 1 2 c ?y2 ?yc ?W(1) ?W(2) 输入层 (X) 隐层 (Z) 输出层 (Y) ?x2 ?xN 解决方案——计算两个传播方向： “前向传播(Forward propagation)”：输入{xi}进入网络，按照信息在网络中前进移动的方向，逐次计算aj，zj直至输出{yk}的过程；（输入向输出方向的前向传播） “后向传播(Back propagation)”：利用输出层的误差来估计输出层的直接前导层的误差，再依次估计更前一层的误差，获得所有各层的误差估计。（输出误差向输入方向的后向传播）（Rumelhart, Hinton Williams, 1986） 1 2 M 2 1 ?x1 N ?y1 1 2 c ?y2 ?yc ?W(1) ?W(2) 输入层 (X) 隐层 (Z) 输出层 (Y) ?x2 ?xN 设学习集有T个样本，记为{x?, t?}，? =1, 2, …, T，其中： 输入 理想输出 计算实际输出，记为： 实际输出 显然有：