第5章 人工神经网络反向传播算法.ppt

模式识别讲义第5章 人工神经网络 黄可坤 嘉应学院 主要内容 1 前馈神经网络基本概念 2 感知器 3 多层感知器 4 反向传播(BP)算法（重点，难点） 5 BP算法的步骤 6 计算实例（重点） 7 多层感知器的一些问题 1 前馈神经网络基本概念 前馈神经网络(feed forward NN)：各神经元接受前级输入，并输出到下一级，无反馈，可用一有向无环图表示。 前馈网络通常分为不同的层(layer)，第i层的输入只与第i-1层的输出联结。 可见层：输入层(input layer)和输出层(output layer) 隐层(hidden layer) ：中间层. 3 多层感知器 4 反向传播(BP)算法 多层感知器的中间隐层不直接与外界连接，其误差无法估计. 反向传播算法：从后向前（反向）逐层“传播”输出层的误差，以间接算出隐层误差。分两个阶段： 正向过程：从输入层经隐层逐层正向计算各单元的输出 反向过程：由输出层误差逐层反向计算隐层各单元的误差，并用此误差修正前层的权值. 4.2.1: 输出层权值修正 4.2.2:隐层权值修正 5 BP算法的步骤 初始权值 前向计算，求出所有神经元的输出 对输出层计算 从后向前计算各隐层 计算并保存各权值修正量： 修正权值： 判断是否收敛，如果收敛则结束，不收敛则转至Step 2 6 计算实例 有两类的二维数据，其中第一类的两个样本为(