神经网络_配套_Ch11_pres大全.ppt

网络结构的选择 1-5-1 1-2-1 1-3-1 1-4-1 网络的能力受隐层中神经元数目的限制。 通常不知道多少层或多少神经元就能得到足够的性能。 收敛性 1 2 3 4 5 0 1 2 3 4 5 0 由于多层网络均方误差非常复杂且有许多局部极小值，BP算法收敛时，并不能确定是否求到了最优解。可以多试几个不同的初始值以求得到最优解。 收敛到全局最小值 收敛到局部最小值 用1-3-1网络来逼近函数： 推广(泛化)性能 1-2-1 1-9-1 网络应当具有比训练集中的数据点少的可调参数(权和偏置)。 要用足以表示训练集的最简单(最小)网络。 若不使用最简单网络，应在网络得到恰当迭代后停止训练。 用训练数据集训练网络，用测试数据集评估网络推广性能。 将所有的样本分成两个集合，即训练集和测试集。前者用来参与训练；后者则用来测试训练好的网络的泛化性能。 11 * 反向传播(BP) 多层感知机(MLP) 设计能够实现“与”、“或”和“异或”的感知机 基本逻辑运算的实现 判定边界：　　　　　　，　　　　　　 。 ? “与”操作运算： ∧ 基本逻辑运算的实现 ? “或”操作运算： 判定边界： ， 。 ∨ 基本逻辑运算的实现 ? “异或”操作运算： 判定边界？W=？b=？ ∨ ∧ 多层感知机模型 R – S1 – S2 – S3 Network 分类例子 多个判定边界 第一个子网 第一个边界: 第二个边界: 多个判定边界 第三个边界: 第四个边界: 第二个子网络 3 4 拼接两个网络 OR 整个网络 函数逼近例子 参数值 网络的响应 参数变化对网络响应的影响 多层网络 网络的输入 网络的输出 前一层的输出是后一层的输入 性能指数 训练集 均方误差 向量情况 近似均方误差(单个样本) 近似最速下降 链法则 应用到梯度计算 梯度计算 敏感性： 梯度： 最速下降 s m F ? ? n m ? - - - - - - - - - - o F ? ? n 1 m ? - - - - - - - - - F ? ? n 2 m ? - - - - - - - - - ? F ? ? n S m m ? - - - - - - - - - - - = 下一步: 计算敏感性(反向传播) 敏感性计算(反向传播) 求多元复合函数的偏导数 Jacobian 矩阵 n m 1 + ? n m ? - - - - - - - - - - - - - - - - - n 1 m 1 + ? n 1 m ? - - - - - - - - - - - - - - - - n 1 m 1 + ? n 2 m ? - - - - - - - - - - - - - - - - ? n 1 m 1 + ? n S m m ? - - - - - - - - - - - - - - - - n 2 m 1 + ? n 1 m ? - - - - - - - - - - - - - - - - n 2 m 1 + ? n 2 m ? - - - - - - - - - - - - - - - - ? n 2 m 1 + ? n S m m ? - - - - - - - - - - - - - - - - ? ? ? n S m 1 + m 1 + ? n 1 m ? - - - - - - - - - - - - - - - - n S m 1 + m 1 + ? n 2 m ? - - - - - - - - - - - - - - - - ? n S m 1 + m 1 + ? n S m m ? - - - - - - - - - - - - - - - - o F Y m n m ( ) f Y m n 1 m ( ) 0 ? 0 0 f Y m n 2 m ( ) ? 0 ? ? ? 0 0 ? f Y m n S m m ( ) = 反向传播(敏感性) 敏感性从最后一层开始计算, 然后通过网络反向传播到第一层。 初始化(最后一层) a i ? n i M ? - - - - - - - - - - a i M ? n i M ? - - - - - - - - - - f M n i M ( ) ? n i M ? - - - - - - - - - - - - - - - - - - - - - - - f Y M n i M ( ) = = = s i M 2 t i a i – ( ) – f Y M n i M ( ) = 小结 前向传播： 反向传播： 权修正： 例子: 函数逼近 1-2-1 网络 + - t a e p 网络 1-2-1 网络 a p 初始