第9章-神经计算讲解.pptVIP

* * * * * * * * * * * * * * 以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。 4 SOM网的运行原理 训练阶段 w1 w2 w3 w4 w5 工作阶段 5 SOM网的学习算法 (1)初始化 对输出层各权向量赋小随机数并进行归一化处理，得到 ，j=1,2,…m；建立初始优胜邻域Nj*(0)；学习率? 赋初始值。 (2)接受输入 从训练集中随机选取一个输入模式并进行归一化处理，得到 ，p?{1,2,…,P}。 (3)寻找获胜节点 计算 与 的点积，j=1,2,…m，从中选出点积最大的获胜节点j*。 (4)定义优胜邻域Nj* (t) 以j*为中心确定t 时刻的权值调整域，一般初始邻域Nj* (0)较大，训练过程中Nj* (t)随训练时间逐渐收缩。 (5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值： i=1,2,…n j?Nj*(t) 式中， 是训练时间t 和邻域内第j 个神经元与获胜神经元 j* 之间的拓扑距离N 的函数，该函数一般有以下规律： (5)调整权值 (6)结束检查 学习率是否衰减到零或某个预定的正小数？ Kohonen学习算法程序流程 6 功 能 分 析 (1)保序映射——将输入空间的样本模式类有序地映射在输出层上。 例1：动物属性特征映射。 功能分析 (2)数据压缩 —— 将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。 (3)特征抽取 —— 高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。 例2：SOM网用于字符排序。 功能分析 9.5 Hopfield神经网络 Hopfield模型 Hopfield网络的学习算法 Hopfield模型是霍普菲尔德分别于1982年及1984提出的两个神经网络模型。1982年提出的是离散型，1984年提出的是连续型，但它们都是反馈网络结构。图1给出了一个简单的反馈神经网络图。 1 Hopfield模型 由于在反馈网络中，网络的输出要反复地作为输入再送入网络中，这就使得网络具有了动态性，网络的状态在不断的改变之中，因而就提出了网络的稳定性问题。所谓一个网络是稳定的是指从某一时刻开始，网络的状态不再改变。 设用X(t)表示网络在时刻t的状态，如果从t=０的任一初态X(0)开始，存在一个有限的时刻t，使得从此时刻开始神经网络的状态不再发生变化，即 就称此网络是稳定的。 离散网络模型是一个离散时间系统，每个神经元只有两个状态，可以用1和0来表示，由连接权值Ｗij所构成的矩阵是一个对角线为0的对称矩阵，即 如果用x(t)表示整个网络在时刻ｔ的状态，则X是一个向量，它包含了网络中每个人工神经元的状态。所以，状态向量X中的分量个数就是网络中人工神经元的个数。假设网络中的节点（人工神经元）个数为n，则向量X的构成如下： 这里， ,其中的Ｗij为节点ｉ到节点ｊ 的连接权值； 为节点ｊ的阈值。 (9.4.3) Xi(t)表示节点i（第个i神经元）在时刻t的状态，该节点在时刻t+1的状态由下式决定： (9.4.4) Hopfield网络离散模型有两种工作模式： （1）串行方式，是指在任一时刻t，只有一个神经元i发生状态变化，而其余的神经元保持状态不变。 （2）并行方式，是指在任一时刻t，都有部分或全体神经元同时改变状态。 有关离散的Hopfield网络的稳定性问题，已于1983年由Cohen和Grossberg给于了证明。而Hopfield等人又进一步证明 ，只要连接权值构成的矩阵是非负对角元的对称矩阵，则该网络就具有串行稳定性。 1984年，Hopfield又提出了连续时间的神经网络，在这种神经网络中，各节点可在0到1的区间内取任一实数值。 Hopfield网络是一种非线性的动力网络，可通过反复的网络动态迭代来求解问题，这是符号逻辑方法所不具有的特性。在求解某些问题时，其求解问题的方法与人类求解问题的方法很相似，虽然所求得的解不是最佳解，但其求解速度快，更符