神经网络三讲义.ppt

循环网 如果将输出信号反馈到输入端,就可构成一个多层的循环网络。 输入的原始信号被逐步地“加强”、被“修复”。 大脑的短期记忆特征——看到的东西不是一下子就从脑海里消失的。 稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。 * 4 存储与映射 空间模式（Spatial）、时空模式（Spatial-temporal） 空间模式三种存储类型 1、? RAM方式（Random Access Memory） 随机访问方式是将地址映射到数据。 2、? CAM方式（Content Addressable Memory） 内容寻址方式是将数据映射到地址。 3、? AM方式（Associative Memory） 相联存储方式是将数据映射到数据。 * 存储与映射 在学习/训练期间，人工神经网络以CAM方式工作；权矩阵又被称为网络的长期存储（Long Term Memory，简记为LTM）。 网络在正常工作阶段是以AM方式工作的；神经元的状态表示的模式为短期存储（Short Term Memory，简记为STM）。 * 2.4 存储与映射 自相联（Auto-associative）映射：训练网络的样本集为向量集合为 {A1，A2，…，An} 在理想情况下，该网络在完成训练后，其权矩阵存放的将是上面所给的向量集合。 * 2.4 存储与映射 异相联（Hetero-associative）映射 {（A1，B1），（A2，B2），…，（An，Bn）} 该网络在完成训练后，其权矩阵存放的将是上面所给的向量集合所蕴含的对应关系。 当输入向量A不是样本的第一的分量时，样本中不存在这样的元素（Ak，Bk），使得 Ai≤Ak≤A或者A≤Ak≤Aj 且此时有 Ai≤A≤Aj 则向量B是Bi与Bj的插值。 * 人工神经网络的学习方法 人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是对它的训练过程 * 无导师学习 无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。 * 无导师学习 Hebb学习律、竞争与协同（Competitive and Cooperative）学习、随机联接系统（Randomly Connected Learning）等。 Hebb算法[D. O. Hebb在1961年]的核心： 当两个神经元同时处于激发状态时被加强，否则被减弱。 数学表达式表示： Wij（t+1）=Wij（t）+αoi（t）oj（t） * 有导师学习 有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。 输入向量与其对应的输出向量构成一个“训练对”。 有导师学习的训练算法的主要步骤包括： 1）? 从样本集合中取一个样本（Ai，Bi）； 2）? 计算出网络的实际输出O； 3）? 求D=Bi-O； 4）? 根据D调整权矩阵W； 5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。 * Delta规则 Widrow和Hoff的写法： Wij(t+1)=Wij(t)+α(yj- aj(t))oi(t) 也可以写成： Wij(t+1)=Wij(t)+? Wij(t) ? Wij(t)=αδjoi(t) δj=yj- aj(t) Grossberg的写法为： ? Wij(t)=αai(t)(oj(t)-Wij(t)) 更一般的Delta规则为： ? Wij(t)=g(ai(t)，yj，oj(t)，Wij(t)) * 增强学习与学习规则 增强学习 外部环境对系统的输出结果给出评价，学习系统通过强化受奖的动作来改善自身性能。 学习规则 误差纠错学习 Hebb学习 竞争学习 * 2 人工神经网络基本模型 一、MP模型 MP模型属于一种阈值元件模型，它是由美国Mc Culloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。 * 标准MP模型 * wij ——代表神经元i与神经元j之间的连接强度(模拟生物神经元之间突触连接强度)，称之为连接权； ui——代表神经元i的活跃值，即神经元状态； vj——代表神经元j的输出，即是神经元i的一个输入