10智能计算导轮_神经网络4.ppt

智能计算导论第三章 人工神经网络 第四节 BP算法 西安电子科技大学 智能科学与技术系 * 样本 训练样本进入网络的方式： 单个处理： 进入一个样本，权值更新一次 批处理： 整个训练集样本都出现后，网络参数才会更新，每个训练样本的梯度被平均在一起，以获得更精确的梯度估计(如果训练集是完备的，则梯度估计是精确的) * 目标函数 ?目标函数直接表达系统要实现的目标，是设计、评价系统的重要指标 ?神经网络的学习本质上就基于目标函数的寻优过程 ?目标函数应该具有选择性、有效性和实用性 * 网络结构选择 网络的拓扑形式 网络的层数 隐层节点安排 传输函数选择 * 网络结构选择 多层神经网络可以用来逼近任意函数 定理 只要隐层神经元的个数充分，则隐层传输函数为S型输出传输函数，输出为线性的二层网络可逼近任意函数 * 网络结构选择 输入 Log-Sigmoid层 线性层 网络结构限制了网络输出 1-3-1 网络 收敛性 反向传播算法实现了一种对可能的网络权值空间的梯度下降搜索 迭代地减小训练样本地目标值和网络实际输出间的误差(使性能指数最小) 多层网络的性能指数可能不再是二次函数，性能曲面有多个极小值 梯度下降决定了反向传播只能收敛到局部而非全局最优。 * 收敛性－性能曲面 输入 Log-Sigmoid层 Log-Sigmoid层 * 收敛性－性能曲面 响应曲线 * 收敛性－均方误差(w11,1 和w21,1) w11,1 w21,1 w11,1 w21,1 * w11,1 b11 b11 w11,1 收敛性－均方误差(w11,1 和b11) * b11 b21 b21 b11 收敛性－均方误差(b11 和b12) * 收敛性举例 w11,1 w21,1 * w11,1 w21,1 收敛性举例(学习率过大) * 收敛性 过程演示 虽然缺乏对收敛到全局最优值的保障，但是BP算法在实践中依旧是有效的(维数越多，为算法提供逃逸局部极小值的路线就越多) 随着迭代次数增加网络权值的演化方式 缓解由于局部极小值带来的收敛性问题的方法： 动量作用 随机梯度 使用同样的数据训练多个网络，但是随机 初始权值不同 * 泛化能力 泛化能力(推广能力):经过训练后的网络对未在训练集中出现的(但是来自同一分布)样本作出正确反应的能力 * 泛化能力 1-2-1 1-9-1 过程演示 * 泛化能力 训练样本的质量和数量 网络结构 问题本身的性质 算法停止准则(终止条件)：设定一个目标函数阈值 * 泛化能力 网络结构一定时，为了获得好的范化能力，需要多少训练样本 样本量应当比可调参数量大，学习结果才是可靠的；训练集和测试集分开 训练样本一定时，如何确定网络结构以保证较好的范化能力 能够与给定样本符合的最简单(规模最小)的网络（逐步增长或逐步修剪；正规化约束） * 学习率 BP网络的收敛是基于无穷小的权修改量 学习率太小，收敛就非常慢 学习率太大，可能会导致网络的瘫痪和不稳定 自适应学习率，使得权修改量能随着网络的训练而不断变化。 * BP算法的特点 弱点： 训练速度非常慢 局部极小点的逃离问题 算法不一定收敛 优点： 广泛的适应性 有效性 * * * 线性不可分问题 * 线性不可分问题 与 * 输入 第1层 第2层 第3层 多层神经网络（3层） a1=f 1(W1p+b1) a2=f 2(W2a1+b2) a3=f 3(W3a2+b3) p a3=f 3(W 3f 2(W2f 1(W 1p+b1) +b2) +b3) * 模式分类 边界1: 边界2: * 模式分类 子网络1 输入 子边界构造 与操作 * 边界3: 边界4： 模式分类 * 子网络2 模式分类 输入 子边界构造 与操作 * 模式分类 输入 子边界构造 与 或 * 函数逼近 参数取值 输入 Log-Sigmoid层 线性层 * 函数逼近－网络响应 p a2 试验 * 函数逼近－参数变化 * 反向传播算法 输入 第1层 第2层 第3层 输出层 隐含层 a3=f 3(W 3f 2(W2f 1(W 1p+b1) +b2) +b3) R-S1-S2-S3 5-10-20-5 * 反向传播算法 多层网络模型 第一层输入 网络输出 * 反向传播算法-性能指数 训练集 均方误差 矢量情况 近似均方误差 (Single Sample) 近似均方误差的最速下降算法 * s m F ? ? n m ? - - - - - - - - - - o F ? ? n 1 m ? - - - - - - - - - F ? ? n 2 m ? - - - - - - - - - ? F ? ? n S m m ? - - - - - - - - - - - =