4=第4章节 神经网络基本理论.ppt

第四章 神经网络基本理论 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.2 神经网络的定义和特点 4.3 感知器模型 感知器的学习算法 感知器的学习是有导师学习。 感知器的训练算法的基本原理来源于著名的Hebb学习律。 基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵。 离散单输出感知器训练算法 二值网络：自变量及其函数的值、向量分量的值只取0和1 权向量：W=(w1，w2，…，wn) 输入向量：X=(x1，x2，…，xn) 训练样本集： {(X，Y)|Y为输入向量X对应的输出} 离散单输出感知器训练算法 离散多输出感知器训练算法 样本集：{(X,Y)|Y为输入向量X对应的输出} 输入向量：X=(x1,x2,…,xn) 理想输出向量：Y=(y1,y2,…,ym) 激活函数：F 权矩阵W=(wij) 实际输出向量：O=(o1,o2,…,om) 离散多输出感知器训练算法 离散多输出感知器训练算法 算法思想：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。 第1步，权矩阵的初始化：一系列小伪随机数。 离散多输出感知器训练算法 第2步，循环控制。 方法1：循环次数控制法：对样本集执行规定次数的迭代 改进——分阶段迭代控制：设定一个基本的迭代次数N，每当训练完成N次迭代后，就给出一个中间结果 离散多输出感知器训练算法 方法2：精度控制法：给定一个精度控制参数 精度度量：实际输出向量与理想输出向量的对应分量的差的绝对值之和； 实际输出向量与理想输出向量的欧氏距离的和; “死循环”：网络无法表示样本所代表的问题; 离散多输出感知器训练算法 方法3：综合控制法：将这两种方法结合起来使用 注意：精度参数的设置。根据实际问题选定；初始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。 连续多输出感知器训练算法 用公式wij=wij+α（yj-oj）xi取代了算法3-2 第2.1.3步中的多个判断 yj与oj之间的差别对wij的影响由α（yj-oj）xi表现出来 好处：不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽 连续多输出感知器训练算法 线性不可分问题 异或(Exclusive –OR)问题 用于求解XOR的单神经元感知器 线性不可分函数 线性不可分函数 R. O. Windner 1960年 线性不可分问题的克服 用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，我们就可以构成一个两级网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来 一个非凸域可以拆分成多个凸域。按照这一思路，三级网将会更一般一些，我们可以用它去识别出一些非凸域来。 解决好隐藏层的联接权的调整问题是非常关键的 4.4 神经网络的构成和分类 4.4 神经网络的构成和分类 4.4 神经网络的构成和分类 4.4 神经网络的构成和分类 4.4 多层前向BP神经网络 4.4 多层前向BP神经网络 4.4 多层前向BP神经网络 4.4 多层前向BP神经网络 4.4 多层前向BP神经网络 4.4 多层前向BP神经网络 4.5 大脑自组织神经网络 4.5 大脑自组织神经网络 4.5 大脑自组织神经网络 4.5 大脑自组织神经网络 4.5 大脑自组织神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 4.6 小脑神经网络 网络的学习 学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。 假设有M个样本: 将第k个样本Xk输入网络，得到的网络输出为 定义学习的目标函数为 ： 为使目标函数最小，训练算法是： 令 则 学习的步骤： （1）依次取第k组样本 ，将Xk输入网络。 （2）依次计算 ，如果 ，退出。 （3）计算 （4）计算 （5） ，修正权值，返回（1） 如果样本数少，则学习知识不够；如果样本多，则需计算更多的dJk/dw, ，训练时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw, ，调整权值。 例4.1 多层前向BP网络训练 训练样本SISO： SampleInput=[0 0.1 0.2 0.3 0.4]; SampleOutput=[4 2 2 2 2]; 网络结构： 网络输入输出关系：