第1-2章 人工神经网络基础.ppt

* * 全互联网络 全互联网络是网络中所有的神经元之间都有相互间的连接 如Hopfiled和Boltgmann网络都是这种类型 全 互 联 网 络 * * BP神经网络 * * 2.5 人工神经网络的训练 人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是对它的训练过程 * * 人工神经网络的学习过程就是对它的训练过程，所谓训练，就是在将由样本向量构成的样本集合（也称为样本集、训练集）输入到人工神经网络的过程中，按照一定的方式去调整神经网元之间的联接权，使得神经网络能够将样本集的内涵以联接权矩阵的方式存储起来，从而使得在网络接收输入时，可以给出适当的输出。 * * 神经网络的学习算法 * * 学习方法 有监督学习 无监督学习 再励学习 在有监督的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权重，最终使差异变小。 在无监督的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权重，使网络最终具有模式分类等功能。 再励学习是介于上述两者之间的一种学习方法 * * 学习规则 Hebb学习规则 这个规则是由Donald Hebb在1949年提出的 他的基本规则可以简单归纳为：如果处理单元从另一个处理单元接受到一个输入，并且如果两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强 Hebb学习规则是一种没有指导的学习方法，它只根据神经元连接间的激活水平改变权重，因此此这种方法又称为相关学习或并联学习 Delta（?）学习规则 Delta规则是最常用的学习规则，其要点是改变单元间的连接权重来减小系统实际输出与应有的输出间的误差 这个规则也叫Widrow-Hoff学习规则，首先在Adaline模型中应用，也可称为最小均方差规则 BP网络的学习算法称为BP算法，是在Delta规则基础上发展起来的，可在多层网络上有效地学习 * * 学习规则 梯度下降学习规则 梯度下降学习规则的要点为在学习过程中，保持误差曲线的梯度下降 误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值 Kohonen学习规则 该规则是由Teuvo Kohonen在研究生物系统学习的基础上提出的，只用于没有指导下训练的网络 后向传播学习规则 后向传播（Back Propagation，BP）学习，是目前应用最为广泛的神经网络学习规则 * * 学习规则 概率式学习规则 从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习 误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值 竞争式学习规则 竞争式学习属于无监督学习方式。这种学习方式是利用不同层间的神经元发生兴奋性联接以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经无产生抑制性联接 竞争式学习规则的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别 * * 2.5.1无导师学习 无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。 * * 2.5.1无导师学习(无监督学习) Hebb学习律、竞争与协同（Competitive and Cooperative）学习、随机联接系统（Randomly Connected Learning）等。 Hebb算法[D. O. Hebb在1961年]的核心： 当两个神经元同时处于激发状态时被加强，否则被减弱。 数学表达式表示： Wij（t+1）=Wij（t）+αoi（t）oj（t） * * 2.5.2 有导师学习(有监督学习) 有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。 输入向量与其对应的输出向量构成一个“训练对”。 有导师学习的训练算法的主要步骤包括： 1）? 从样本集合中取一个样本（Ai，Bi）； 2）? 计算出网络的实际输出O； 3）? 求D=Bi-O； 4）? 根据D调整权矩阵W； 5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。 * * Delta规则 Widrow和Hoff的写法： Wij(t+1)=Wij(t)+α(yj- oj(t))oi(t) 也可