第4章神经网络基本理论1.ppt

第四章 神经网络基本理论 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.1 人工神经元模型 4.2 神经网络的定义和特点 4.3 神经网络的构成和分类 4.3 神经网络的构成和分类 4.3 神经网络的构成和分类 4.3 神经网络的构成和分类 4.4多层感知器与BP算法 1) 增加动量项 α为动量系数，一般有α∈(0，1) 2) 自适应调节学习率 设一初始学习率，若经过一批次权值调整后使总误差↑，则本次调整无效，且?=β?(β1)； 若经过一批次权值调整后使总误差↓，则本次调整有效，且?=θ? (θ1 )。 (5)标准BP算法的改进 4.4多层感知器与BP算法 3) 引入陡度因子 实现这一思路的具体作法是，在原转移函数中引入一个陡度因子λ (5)标准BP算法的改进 4.4多层感知器与BP算法 例4.1 多层前向BP网络训练 训练样本SISO： SampleInput=[0 0.1 0.2 0.3 0.4]; SampleOutput=[4 2 2 2 2]; 网络结构： 网络输入输出关系： 需训练的量： 训练算法： 训练初始参数： W1=rand(1,5); W2=rand(1,5); theta=rand(1,5); beta=rand(1,5); LearningRate1=0.2; LearningRate2=0.4; LearningRate3=0.2; LearningRate4=0.2; 训练后参数： W1＝[-0.4059 8.5182 -0.5994 -0.1153 -1.1916]; W2=[0.6245 2.8382 0.6632 0.5783 3.5775]; Beta=[1.6219 -4.9403 1.6041 1.5145 -0.3858]; Theta=[1.5832 0.1900 1.5406 1.6665 -0.1441]; 训练1000次目标函数的变化曲线： 训练结束后神经网络的输出与样本的拟和情况 ②网状结构：网络中任何两个神经元之间都可能双向联接。 反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。 混合型网络：前向网络的同一层神经元之间有互联的网络。 （2）从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等 （3）从网络的学习方式上划分 ①有导师学习神经网络 为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。 ②无导师学习神经网络 不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。 3 灌输式学习 （4）从学习算法上来划分： 基于BP算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。 感知器(Perceptron)是由美国学者F.Rosenblatt于1957年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否则为0或-1。 它的权系W可变，这样它就可以学习。 感知器的结构 j=1,2,…,m (1)感知器模型 4.4多层感知器与BP算法 净输入： 输出： (1)感知器模型 4.4多层感知器与BP算法 设输入向量X=(x1 ,x2)T 输出： 则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。 oj x1 -1 x2 (2)感知器的功能 4.4多层感知器与BP算法 (2)感知器的功能 w1jx1+w2jx2-Tj=0 4.4多层感知器与BP算法 设输入向量X=(x1, x2, x3)T 输出： 则由方程 w1jx1+w2jx2+w3j –Tj=0 确定了三维空间上的一个分界平面。 x2 oj x1 x3 -1 (2)感知器的功能 4.4多层感知器与BP算法 (2)感知