第四章计算智能-神经网络.pptVIP

* 4.2 Hopfield网络的学习算法 (1) 设置互连权值。 (9.4.5） 其中， 是s类样例的第i个分量，它可以为1或0，样例类别数为m，节点数为n。 4 Hopfield模型及其学习算法 * (2) 未知类别样本初始化。 (9.4.6) 其中，yi(t)为节点I在t时刻的输出，当t=0时，yi(0)就是节点I的初始值，xi为输入样本的第I个分量。 (3) 迭代直到收敛。 (9.4.7) 式(9.4.7)中f为阈值型激发函数。该过程一直迭代到不再改变节点的输出为止。这时各节点的输出与输入样例达到最佳匹配。否则 (4) 转（2）继续。 4 Hopfield模型及其学习算法 * 前面已经指出，当Hopfield模型的网络中各神经元的连接权值所构成的矩阵是一个非负对角元的对称矩阵时或者是一个非负定矩阵时，上述算法是收敛的。 人工神经网络的类型很多，这里只简单介绍了三种比较重要且常用的模型及其算法，即感知器模型、B-P网络模型和Hopfield网络模型。若想更深入地了解，请参阅人工神经网络相关的专著或教材。 4 Hopfield模型及其学习算法 * 作业 1、书上4-5 [学号]+[姓名]+[章节].doc * ADALINE学习算法实质分析 * 的取值 的选择决定了收敛的稳定性和收敛的速度。 稳定性要求：0 2。但是 过大可能会修正过度，一个比较好的选择范围是0.1 1。 * LMS算法的几何解释 * ADALINE模型计算能力分析 若ADALINE输入为二值，它可以完成一定的逻辑功能。 若有n个输入，即则有2n个可能的输入模式。在一般的逻辑实现中，依照所期望的输出响应，可以将个输入模式划分成＋和－两类。每一个自适应线性元模型可以完成某一种逻辑功能，因而我们也可以把自适应线性元看成是一逻辑部件。 * ADALINE模型计算能力分析 每个自适应线性元的功能也主要由各个权值所确定。 每个自适应线性元只能实现逻辑空间上的线性划分， * ADALINE模型学习过程举例 网络模型 x1=1.2 x2=2.7 x0=1 w1=-0.045 w2=1.1 w0=1 y =? d=2.3 E=? y =4.57 E=-2.27 w0=0.546 w1=0.5 w2=-0.126 y =0.153 E=2.15 * ADALINE模型的学习曲线 * 感知机模型结构 感知机(Perceptron) 结构如下图所示。它是一个简单的单层神经网络模型。输入层是含有n个处理单元的神经元组，输出层只有一个处理单元，所有处理单元都是线性阈值单元。 xi wi y ? * 感知机的计算 * 感知机的几何意义 感知机的几何意义在于它在多维空间上利用一超平面将两类模式A和B分开。这时超平面方程为： * 感知机权值调整算法（文字） 1、初始化：赋予和一个较小的随机非零值。 2、将一模式送入输入神经元，并给出理想 输出值。 3、计算神经网络模型的实际输出： 4、调节权值: 5、转2，直到学完所给定的所有输入样本。 * 感知机权值调整算法（图示） 样本 E=0.85 E=0.45 E=0.25 E=0.05 * 感知机的缺陷 Rosenblatt已经证明，如果两类模式在分布空间中可以找到一个超平面将它们分开，那么感知机的学习过程就一定会收敛。否则判定边界就会振荡不休，永远不会稳定，这也正是单层感知机所无法克服的缺陷，所以它连最简单的异或（XOR）问题也解决不了。 XOR问题 * BP神经网络 * BP算法是用于前馈多层网络的学习算法，它含有输人层、输出层以及处于 输入输出层之间的中间层。中间层有单层或多层，由于它们和外界没有直接的 联系，故也称为隐层。在隐层中的神经元也称隐单元。隐层虽然和外界不连