人工智能AI-112.pptVIP

Agenda 神经网络概述 感知机 前馈神经网络 Hopfield网络 随机神经网络 遗传算法 人工生命 Hopfield网络（1） 反馈神经网络是得到最充分研究和应用的神经网络模型之一。Hopfield为这一网络引入了一种稳定过程，即提出了人工神经网络能量函数的概念，使网络的运行稳定性判断有了可靠而简便的依据。 Hopfield网络在联想存取及优化计算等领域得到了成功的应用，拓宽了神经网络的应用范围 . Hopfield网络（2） Hopfield网络主要有下面的特点: 网络是一个全连网络,即网络中任意两个单元之间都有连线,而且这种连接是对称的,即wij=wji. 网络有两种类型：离散和连续。离散是说单元是二值的，它们的激活是用（1，-1）或（1，0）表示。而在连续的网络中，单元的激活是连续的，它们可以取0到1之间的任一实数值 Hopfield网络（3） Hopfield网络的基本结构如下，N1, N2, ┅ ，Nn表示网络的n个神经元，其转移特性函数为?(x)，?(x)，┅ , ?(x) , 门限值为?1， ?2 ，┅ ?n 。对于离散型Hopfield网络，各结点一般选相同的转移特性函数，且为符号函数，即有 ?(x) = ?(x) = ┅ = ?(x) = sign(x) 这里假定：各结点门限值相等，且等于0。 令：x = (x1, x2, ┅ , xn)T,x?{-1,+1} n 为网络的输入 y=(y1, y2, ┅ ,yn) T, y ?{-1,+1} n 为网络的输出 v(t)=(v1(t), v2(t), ┅ vn(t)) T, v(t) ?{-1，+1} n为网络在时刻t的状态， 其中：对离散网络，t ?{0,1,2, ┅}为离散时间变量； Wij为从Ni到Nj的连接权值 Hopfield网络（4） Hopfield网络（5） 网络的吸引子。设t=0时对网络输入模式x，网络处于状态v(0),而在时刻t，网络到达状态v(t)。若v(t)稳定，则称v(t)为网络的稳定吸引子。 在非稳定吸引子的情况，若网络状态有规律的在某些状态之间振荡，则称网络处于有限环（limited circle）状态。若网络无规律的在某些状态之间振荡，则称网络处于混沌（chaos）状态。 吸引子的吸引域。对于某些特定的初始状态，网络按一定的运行规则最后可能稳定在同一吸引子上。称能够稳定在吸引子v(t)的所有初始状态集合为 的吸引域v(t). Hopfield网络（6） 网络运行的收敛性： Hopfield网络（7） 网络学习规则： 联想记忆的编码方法是实现神经网络联想记忆的基础, 人们对此进行了大量的研究，主要的方法有： 基于 Hebb 规则的编码：方法简单并且方便于理论上研究网络的 记忆容量 和网络记忆模式的容错性能, 但是它并不能保证使所有需要记忆的模式都成为网络的 稳定点; 基于伪逆 规则的编码：运算量大, 同时又不能保证所获得的矩阵满足对称性以及对角元为 0 的限制, 这样在记忆模式有误差的情况下并不能保证网络的收敛性 Hopfield网络（8） 网络学习规则： 限制条件 (i) 主要保证网络在输入有误差的情况下仍能正确回忆所记模式, 而条件 (ii)则是为了使预先给定的模式成为网络的不动点. Hopfield网络（9） Hebb学习规则： Hopfield网络（10） 离散Hopfield网学习算法： Hopfield网络（11） Hopfield网络的应用：Hopfield网已成功地用于多个领域，应用方式主要有两种：联想存取和优化计算。不同应用的基本思想可以归纳如下： 对于特定的问题，选择一种合适的表示方法，使得神经网络得输出与问题得解对应起来 构造神经网络的能量函数，使其最小值对应于问题的最佳解 由能量函数反推出神经网络的结构 由网络结构构造网络，让其运行，则稳定状态在一定条件下就是问题的解 Agenda 神经网络概述 感知机 前馈神经网络 Hopfield网络 随机神经网络 遗传算法 人工生命 随机神经网络 前面讨论的两种网络都为确定性的网络，组成它们的神经元均为确定性的，即给定神经元的输入其输出就是确定的，但在生物神经元中由于有各种各样的干扰这实际上是很难实现的。同时人工神经元的硬件实现也会有各种扰动，从而带来某些不确定性， 因此讨论随机神经元显得必要且必需。 模拟退火算法（Simulated Annealing） 玻尔兹曼机（Boltzmann Machine，