神经网络理论基础——中南大学.ppt

* 中南大学智能所 * 输入－－－输出 * 中南大学智能所 * 输入－－－输出 * 中南大学智能所 * 输入－－－输出 有导师的学习 有导师的学习 动态BP学习算法 调整权系值 * 中南大学智能所 * 调整权系值 * 中南大学智能所 * 调整权系值 * 中南大学智能所 * 调整权系值 * 中南大学智能所 * 2. Elman网络 图2-10-2 基本Elman网络 * 中南大学智能所 * 概述 Elman神经网络由Jeffrey L. Elman 于1990年提出 是一种反馈神经网络 具有很强的计算能力 Hello ,I’m Jeffrey L. Elman * 中南大学智能所 * Elman神经网络结构 Elman网络由4层组成 输入层 信号传输作用 隐含层 承接层 也称上下文单元或状态层,承接层从隐含层接收反馈信号，用来记忆隐含层神经元前一时刻的的输出值，承接层神经元的输出经延迟与存储，再输入到隐含层。这样就使其对历史数据具有敏感性，增加了网络自身处理动态信息的能力。 输出层 仅起线性加权作用。 * 中南大学智能所 * Elman神经网络学习算法 * 中南大学智能所 * Elman神经网络学习算法 Elman神经网络学习算法采用BP算法 判断算法是否结束的误差函数为： 其中 为期望输出 Elman神经网络学习算法流程图 * 中南大学智能所 * 计算输出层输出 初始化各层权值 输入样本值 计算输入层输出 计算误差函数 更新权值 计算承接层输出 计算隐含层输出 * 中南大学智能所 * Elman神经网络学习算法的MATLAB实现 Elman神经网络的重要函数和基本功能 函 数 名 功 能 newelm() 生成一个Elman神经网络 trains() 根据已设定的权值和阈值对网络进行顺序训练 traingdx() 自适应学习速率动量梯度下降反向传播训练函数 learngdm() 动量梯度下降权值和阈值学习函数 * 中南大学智能所 * Elman神经网络学习算法的MATLAB实现 下表为某单位办公室七天上午9点到12点的空调负荷数据，数据已经做了归一化处理，预测方法采用前6天的数据作为网络的训练样本，每3天的负荷作为输入向量，第4天的负荷作为目标向量，第七天的数据作为网络的测试数据。 * 中南大学智能所 * Elman神经网络学习算法的MATLAB实现 空调负荷数据表 时间 9时负荷 10时负荷 11时负荷 12时负荷 第1天 0.4413 0.4707 0.6953 0.8133 第2天 0.4379 0.4677 0.6981 0.8002 第3天 0.4517 0.4725 0.7006 0.8201 第4天 0.4557 0.4790 0.7019 0.8211 第5天 0.4601 0.4811 0.7101 0.8298 第6天 0.4612 0.4845 0.7188 0.8312 第7天 0.4615 0.4891 0.7201 0.8330 * 中南大学智能所 * 2-7-2 CMAC的学习算法及分析 所谓CMAC的学习算法就是指如何计算连接权值。 * 中南大学智能所 * CMAC 工作原理、学习算法 　　 （以单输出为例） 演示 * 中南大学智能所 * 2. 学习算法分析 CMAC的学习算法与自适应线性神经元的相同。但，因有重叠、 碰撞，故对学习算法及收敛性，需予以分析（讨论单输出）。 分析算法 　　 Gauss-Seidel迭代法：每输入一个样本就调整权值的学习算法 Jacobi迭代法：采用输入循环一遍后，再调整权值的学习算法 分析情况、结论 （1）?? 输入样本有重叠，杂散编码无碰撞 　　　　　　 若重叠少，解收敛 （2）?? 输入样本有重叠，杂散编码有碰撞 　　　　 因碰撞，收敛速度降低、 收敛性态变坏、 也可能不收敛 * 中南大学智能所 * 2-7-3 有关的几个问题 略 * 中南大学智能所 * 演示 例2-7-1M CMAC逼近非线性函数1 * 中南大学智能所 * %---CMAC训练，逼近非线性函数 for p=1:L s(p)=round((u(p)-min)*q/(max-min));%输入u被量化编码 sum=0; for i=1:c ad(i