第2章 神经网络解说.pptVIP

RBF网络的优缺点 （1）RBF与BP网络主要不同点是，在非线性映射上采用了不同的作用函数，分别为径向基与S型函数，前者的作用函数是局部的，后者的作用函数是全局的。 （2）已证明RBF网络具有惟一最佳逼近的特性，且无局部极小。 （3）求RBF网络隐节点的中心、标准化参数，是一困难问题。 （4）径向基函数，即径向对称函数，有多种。对于一组样本，如何选择合适的径向基函数、如何确定隐节点数，以使网络学习达到要求的精度，这是尚未解决的问题。当前，用计算机选择、设计、再检验是一种通用的手段。 （5）RBFNN用于非线性系统辨识与控制中，虽具有惟一最佳逼近的特性，且无局部极小问题，但是隐节点的中心难求，是该网络难以广泛应用的原因。 三层BP网络 图7-1 单神经元模型 常用的神经元非线性特性有以下四种： （1）阈值型图7-2 阈值型函数 （2）分段线性型 图7-3 分段线性函数 （3）Sigmoid函数型 图7-4 Sigmoid函数 图7-6 BP神经网络逼近 图7-11 BP神经网络结构网络的学习算法如下： （1）前向传播：计算网络的输出。隐层神经元的输入为所有输入的加权之和：隐层神经元的输出采用S函数激发 ： 则 输出层神经元的输入：网络第 个输出与相应理想输出 的误差为：第p个样本的误差性能指标函数为： 其中N为网络输出层的个数。 （2）反向传播：采用梯度下降法，调整各层间的权值。权值的学习算法如下：输出层及隐层的连接权值学习算法为： 其中 隐层及输入层连接权值 学习算法为：如果考虑上次权值对本次权值变化的影响，需要加入动量因子 ，此时的权值为： 其中 为学习速率， 为动量因子。 2.4.2 算法流程 4.网络权值与神经元偏置调整 3.反向误差传播 2.向前传播输入 1.初始化网络权值 2.4.2 算法流程 2.4.3 应用举例 例2.1 已知一个前馈型神经网络例子如下图所示。设学习率l为0.9，当前的训练样本为x={1,0,1}，而且预期分类标号为1，同时，下表给出了当前该网络的各个连接权值和神经元偏置。求该网络在当前训练样本下的训练过程 。 w14 w15 w24 w25 w34 w35 w46 w56 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 -0.4 0.2 0.1 例 10.3 BPNN分类系统训练过程 w14 w15 w24 w25 w34 w35 w46 w56 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 -0.4 0.2 0.1 2.4.2 BP网络的标准学习算法 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 2.4.2 BP网络的标准学习算法-算法思想 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传学习的过程： 信号的正向传播误差的反向传播 将误差分摊给各层的所有单元－－－各层单元的误差信号 修正各单元权值 2.4.2 BP网络的标准学习算法-学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 2.4.2 BP网络的标准学习算法 网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; 2.4.3 BP神经网络学习算法的MATLAB实现 MATLAB中BP神经网络的重要函数和基本功能 函 数 名 功 能 newff() 生成一个前馈BP网络 tansig() 双曲正切S型(Tan-Sigmoid)传输函数 logsig() 对数S型(Log-Sigmoid)传输函数 traingd() 梯度下降BP训练函数 径向基函数（RBF-Radial Basis Function）神经网络，是在借鉴生物局部调节和交叠接受区域知识的基础上，提出的一种采用局部接受域来执行函数映射的人工神经网络。RBF 神经网络通常是一种三层前向网络，结构如下图 所示。第一层是输入层，由信号源节点组成；第二层为隐含层，其节点基函数是一种局部分布的、对中心径向对称衰减的非负非线性函数；第三层为输出层。。 4 RBF网络的逼近