机器学习-合肥工业大学.ppt

5.4 基于神经网络的学习 5.4.2 感知器模型及其学习算法 ⑤ 调整连接权值： ωi(t+1)= ωi(t) +η[d(t)-y(t)] xi(t) (i=1,2,…, n) 其中0η≤1，是一个增益因子，用于控制修改速度，也称为增益或学习速度。η的值太大，会影响ωi(t) 的收敛性，而η的值太小，则会使ωi(t) 的收敛速度过慢。 ⑥ 返回步骤 ② 5.4 基于神经网络的学习 5.4.2 感知器模型及其学习算法 “与” 此表可解，如取ω1=1，ω2=1，θ=1.5 x1 x2 x1 andx2 y=ω1 x1+ ω2 x2-θ 条件 0 0 0 y=ω1 x1+ ω2 x2-θ0 θ 0 0 1 0 y=ω1 x1+ ω2 x2-θ0 θ ω2 1 0 0 y=ω1 x1+ ω2 x2-θ0 θ ω1 1 1 1 y=ω1 x1+ ω2 x2-θ≥0 θ ≤ ω1+ ω2 5.4 基于神经网络的学习 5.4.2 感知器模型及其学习算法 “或” 此表可解，如取ω1=1，ω2=1，θ=0.5 x1 x2 x1 orx2 y=ω1 x1+ ω2 x2-θ 条件 0 0 0 y=ω1 x1+ ω2 x2-θ0 θ 0 0 1 1 y=ω1 x1+ ω2 x2-θ≥0 θ≤ω2 1 0 1 y=ω1 x1+ ω2 x2-θ≥0 θ≤ω1 1 1 1 y=ω1 x1+ ω2 x2-θ≥0 θ≤ω1+ ω2 5.4 基于神经网络的学习 5.4.2 感知器模型及其学习算法 “异或” 此表无解，即单层感知器无法解决线性不可分问题，但多层感知器可解决。 x1 x2 x1 xorx2 y=ω1 x1+ ω2 x2-θ 条件 0 0 0 y=ω1 x1+ ω2 x2-θ0 θ 0 0 1 1 y=ω1 x1+ ω2 x2-θ≥0 θ≤ω2 1 0 1 y=ω1 x1+ ω2 x2-θ≥0 θ≤ω1 1 1 0 y=ω1 x1+ ω2 x2-θ0 θω1+ ω2 5.4 基于神经网络的学习 5.4.3 基于反向传播网络的学习 反向传播（Back-Propagation)算法是一种计算单个权值变化引起网络性能变化值的较为简单的方法。 由于BP算法过程包含从输出节点开始，反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正，所以称为“反向传播”。 反向传播特性与所求解问题的性质和所作细节选择有极为密切的关系。 5.4 基于神经网络的学习 5.4.3 基于反向传播网络的学习 1. BP网络结构 BP网络就是多层前向网络 结构：输入层、一层或多层隐层、输出层 激发函数：S形函数 输 入 模 式 输 出 模 式 5.4 基于神经网络的学习 5.4.3 基于反向传播网络的学习 学习过程： 正向传播：输入信息从输入层经隐层逐层处理后传至输出层，每层神经元的状态只影响下一层神经元的状态。 反向传播：输出层得不到期望输出，把误差信号沿原连接路径返回，并修改各神经元的权值，使误差信号最小。 1974年，Werbos提出BP学习算法 1985年，Rumelhart和Meclelland发展了BP学习算法，实现了Minsky多层感知器设想。 5.4 基于神经网络的学习 5.4.3 基于反向传播网络的学习 2. 反向传播公式 思想：选择神经网络的权值使期望输出d与实际输出O的方差最小。利用非线性规划中的“最快下降法”，使权值沿目标函数的负梯度方向改变。 公式： 对于隐节点 对于输出节点 5.4 基于神经网络的学习 5.4.3 基于反向传播网络的学习 式中： △Wi→j 表示连接第i层节点和第j层节点的权值修正值 r为比例参数。r选得越大越有利于提高学习速度，但太大易引起输出过分超过期望值（超调）。 Oj为第j层节点的输出 5.4 基于神经网络的学习 5.4.3 基于反向传播网络的学习 3. BP学习算法 （1）选取比例参数 （2）进行下列过程直至性能满足要求为止 （a）对于每一训练（采