2008第三章_BP.pptVIP

第三章 感知机模型 (Perceptron) 一、单层感知机模型 (Single Layer Perceptron) 1943年， McCulloch 和Pitts 提出了第一个神经网络模型，即感知机模型，也称M-P模型。 1957年美国学者Rosenblattt完善了单层前馈网络模型，提出了相应的学习算法。 单层感知机 Implementing AND Implementing OR Implementing more complex Boolean functions Implementing XOR ? 离散单输出感知器训练算法 离散单输出感知器训练算法Simple Example: AND problem 离散单输出感知器训练算法 连续多输出感知器训练算法 连续多输出感知器训练算法 连续多输出感知器训练算法 Incremental mode Randomly initialize weights wi j, -0.5= wj =0.5 Repeat for several epochs until convergence: Repeat for each example Xp=(x1，x2，xj …，xn) Let Calculate network output op. Calculate Adjust each weights: for j = 1 to n do 连续多输出感知器训练算法 Batch mode: Randomly initialize weights wi j, -0.5= wj =0.5 Repeat for several epochs until convergence: repeat for each example Xp=(x1，x2，xj …，xn) Calculate network output op. Calculate Minsky在1969年证明，有许多基本问题是感知器无法解决 用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，我们就可以构成一个两级网络（多层感知机），该网络可以被用来在平面上划分出一个封闭或者开放的凸域来 一个非凸域可以拆分成多个凸域。按照这一思路，三级网将会更一般一些，我们可以用它去识别出一些非凸域来（非线性划分）。 Different non linearly separable problems 二、多层感知机Multilayer Perceptron( MLP or BP) BP神经网络─基本性能 BP神经网络─基本性能 BP神经网络─基本性能 BP神经网络─BP学习算法 ① Supervised Learning ② 采用误差反传法，由此解决隐层权重的学习调整 ③ 学习过程： 正向计算（求出误差） 输入信号经隐层到输出层，逐层逐单元计算，产生输出。如输出得不到期望的输出，形成误差 反向计算（误差反传）： 误差反传的目的是设法让输出层与教师信号的误差传到每个隐 层单元，使得每个隐层单元和输出单元一样都有相应的误差，以便调整权重。 误差逐层反传，直到每个隐层的每个隐单元都有误差。 计算每个权重的调整量 BP神经网络─ BP学习算法 BP神经网络─ BP学习算法 设任意两层间,后层单元j 的输入为： BP神经网络─ BP学习算法 BP神经网络─ BP学习算法 BP神经网络─ BP学习算法 剩下计算 要分两种情况 ： BP神经网络─ BP学习算法 BP神经网络─ BP学习算法 BP神经网络─ BP学习算法 BP神经网络─ BP学习算法 ⑤算法实现(一）： Incremental mode Step1. 以较小随机非零值初始化各权矩阵， Step2. 输入样本 及相应的期望输出 , Step3. 对输入样本 ,前向计算每层神经元的输出?,直到输出层 Step4. 计算误差: Step5. 反向计算每层中每个神经元的 局部梯度 BP网络接受样本的顺序对训练结果有较大影响。它更“偏爱”较后出现的样本。给样本集安排一个适当的顺序，是非常困难的。 对策：?? Stochastic Learning: 随机从样本集中取出一个样本，由此调整权重。 Batch Learning: 把样本集中的样本依次输入网络，对每一个样本求其误差，把所有样本的