2.4BP神经网络与BP网络设计.pptVIP

2.4 BP神经网络模型与学习算法 2.4.1 BP神经网络模型 三层BP网络 模型的数学表达 输入向量： 隐层输入向量： 隐层输出向量： 输出层输入向量： 输出层输出向量： 期望输出向量： 输入层到隐层之间的权值矩阵： 隐层到输出层之间的权值矩阵： 各个变量之间如何建立联系，来描述整个网络？ 2.4.2 BP网络的标准学习算法 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的输出不断地接近期望的输出。 学习的本质： 对可变权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 BP算法是一种学习规则 BP算法的基本思想 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 BP算法的学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 总结 BP神经网络模型 BP算法的实现 基本思想 推导过程 实现 BP学习算法的功能 补充： BP网络设计基础 一 、训练样本集的准备 1.输入输出量的选择 2.输入量的提取与表示 3.输出量的表示 二、输入输出数据的归一化 三、网络训练与测试 1 输出量的选择 输出量:代表系统要实现的功能目标 系统的性能指标 分类问题的类别归属 非线性函数的函数值 输入量的选择 输入量选择的两条基本原则 必须选择那些对输出影响大且能够检测或提取的变量 各输入变量之间互不相关或相关性很小 输入输出量的性质 从输入、输出量的性质来看，可分为两类：一类是数值变量，一类是语言变量。 数值变量的值是数值确定的连续量或离散量。 语言变量是用自然语言表示的概念，其“语言值”是用自然语言表示的事物的各种属性。 当选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。 2. 输入量的提取与表示 (3)函数自变量输入 一般有几个输入量就设几个分量，1个输入分量对应1个输入层节点。 (4)图象输入 在这类应用中，一般先根据识别的具体目的从图象中提取一些有用的特征参数，再根据这些参数对输入的贡献进行筛选，这种特征提取属于图象处理的范畴。 3. 输出量的表示 二、输入输出数据的归一化 进行归一化的主要原因： ①网络的各个输入数据常常具有不同的物理意义和不同的量纲，归一化给各输入分量以同等重要的地位； ②BP网的神经元均采用Sigmoid转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区； ③Sigmoid转移函数的输出在0~1或-1~1之间。教师信号如不进行归一化处理，势必使数值大的输出分量绝对误差大，数值小的输出分量绝对误差小。 归一化的方法： 三、网络训练与测试 BP网络的MATLAB实现 例2-3 图像处理教研室 * 图像处理教研室 将误差分摊给各层的所有单元－－－各层单元的误差信号 修正各单元权值 BP算法的具体实现 (1)网络初始化； (4)利用网络期望输出向量，网络的实际输出，计算误差函数对输出层的各神经元的偏导数 (5)利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数： (6)利用输出层各神经元的和隐含层各神经元的输出来修正连接权值和阈值 (7)使用隐含层各神经元的和输入层各神经元的输入修正连接权和阈值（8）计算全局误差 （9）判断网络误差是否满足要求 当或学习次数大于设定的最大次数，则结束算法。否则，随机选取下一个学习样本及对应的期望输出，返回到3），进入下一轮学习过程。 (2)随机选取第个输入样本及对应的期望输出 (3)计算隐含层各神经元的输入，然后用和激活函数计算隐含层各神经元的输出 BP网的主要能力 (1)非线性映射能力 BP网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 BP网的主要能力 (2)泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。 (3)容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 一 、训练样本集的准备 一 、训练样本集的准备 一 、训练样本集的准备 XC=(1