神经网络算法精要.doc

神经网络解决TSP问题 题目： 基于Hopfield网络TSP问题 旅行商问题，简称TSP，即给定n个城市和两两城市之间的距离，要求确定一条经过各城市当且仅当一次的最短路线。其图论描述为：给定图G=（V，A），其中V为顶点集，A为各顶点相互连接组成的边集，（dij=dji，Πi，j=1，2，3，，n）（dijdji，?i，j=1，2，3，，n）V={v1，v2，v3，，vn}T={t1，t2，t3，，ti，，tn}，ti∈V（i=1，2，3，，n），minL=。 。 TSP是一个典型的组合优化问题，并且是一个NP完全难题，是诸多领域内出现的多种复杂问题的集中概括和简化形式，并且已成为各种启发式的搜索、优化算法的间接比较标准。因此，快速、有效地解决TSP有着重要的理论价值和极高的实际应用价值。 Hopfield网络Hopfield网络是一种互连型网络的一种，它引入类似于Lyapunov函数的能量函数概念，把神经网络的拓扑结构(用连接权矩阵表示)与所求问题(用目标函数描述)相对应，并将其转换为神经网动力学系统的演化问题。其演变过程是一个非线性动力学系统，可以用一组非线性差分议程描述(离散型)或微分方程(连续型)来描述。系统的稳定性可用所谓的“能量函数”进行分析。在满足条件的情况下，某种“能量函数”的能量在网络运行过程中不断地减少，最后趋于稳定的平衡状态。 因为人工神经网络的变换函数是一个有界函数，故系统的状态不会发生发散现象。目前，人工神经网络经常利用渐进稳定点来解决某些问题。如果把系统的稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是一个寻找记忆的过程。如果把系统的稳定点视为一个能量函数的极小点，而把能量函数视为一个优化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求解该优化问题的过程。因此，Hopfield神经网络的演变过程是一个计算联想记忆或求解优化问题的过程。实际上，它的解决并不需要真的去计算，而是通过构成反馈神经网络，适当地设计其连接权和输入就可以达到这个目的。Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0两个值，也称为离散Hopfield网络。在离散Hopfield网络中，采用的神经元是二值神经元，输出的离散值1和0分别表示神经元处于激活和抑制状态。 离散Hopfield神经网络是离散时间系统，它可以用一个加权无向图表示，图的每一边都有一个权值，图的每个节点都有一个阈值，网络的阶数相应于图中的节点数。 Hopfield网络的基本结构如所示，这种网络是一种单层网络，令网络由n个单元组成，，...，表示n个神经元，这些神经元既是输入单元，也是输出单元，其转移特性函数为，...，，门限值(阈值)为，...，。 图1 Hopfield网络结构图 对于离散型Hopfield网络，各节点一般选取同样的转移函数，且为符号函数，即： (式1.1) 为了分析方便，选取各节点的门限值(即阈值)全部为0，即： ==…==0 (式1.2) 同时，为网络的输入；为网络的输出；为网络在t时刻的状态，其中t（0,1,2…）为离散时间变量；为从到的连接权值，Hopfield神经网络是对称的，即有 ， (式1.3) 整个网络所有n个节点之间的连接强度用矩阵W表示，显然W为n×n方阵。 由图1可见Hopfield网络为一层结构的反馈网络，能处理双极型离散数据（即输入x∈{-l，+1})，及二进制数据(x∈{0，1})。当网络经过训练后，可以认为网络处于等待工作状态，而对网络给定初始输入x时，网络就处于特定的初始状态，由此初始状态开始运行，可以得到网络输出即网络的下一状态。然后，这个输出状态通过反馈回送到网络的输入端，作为网络下一阶段运行的输入信号，而这个信号可能与初始信号x不同，由这个新的输入又可得到下一步的输出，这个输出也可能与上一步输出不同。如此下去，网络的整个运行过程就是上述反馈过程的重复。如果网络是稳定的，那么，随着许多次反馈运行，网络状态的变化减少，直到后来不再变化，达到稳定状态，此时，在网络的输出端可得到稳定的输出，可用以下公式表示为： （式1.4） 其中是由(1.1)定义，为方便，一般值取0。从某个时刻t之后网络状态不再变迁，既有，那么，输出有 （式1.5） 网络神经元状态的演变有两种形式： （1）串行方式 在某一时刻t，只有某一神经元N，的状态按照式(1.4)更新，而其余j-1个神经元状态保持不变，即 （式1.6） 对于某个特定的j单元来说，