李雅普诺夫稳定性理论.ppt

* 6.2.3 BP网络学习算法的改进 1．多层前向BP网络的优点： 1). 网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题； 2). 网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力； * 2．多层前向BP网络的问题： 1). BP算法的学习速度很慢 2). 网络训练失败的可能性较大 3). 难以解决应用问题的实例规模和网络规模间的矛盾 4). 网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定 5). 新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同 6). 网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾 * 3．BP网络学习算法的改进 1). 增加“惯性项 2). 采用动态步长 3). 与其他全局搜索算法相结合 4). 模拟退火算法 目前在神经网络的学习中，基于梯度的算法都不能从理论上保证收敛结果是全局最优的。 * 6.2.4 神经网络的训练 可以任意逼近一个紧集上的任意函数这一特点是神经网络广泛应用的理论基础。但是，在实际应用中，目前尚未找到较好的网络构造方法，确定网络的结构和权值参数，来描述给定的映射或逼近一个未知的映射，只能通过学习来得到满足要求的网络模型。 * 神经网络训练的具体步骤如下 1．获取训练样本集 获取训练样本集合是训练神经网络的第一步，也是十分重要和关键的一步。它包括训练数据的收集、分析、选择和预处理等 2．选择网络类型与结构 神经网络的类型很多，需要根据任务的性质和要求来选择合适的网络类型。 3．训练与测试 最后一步是利用获取的训练样本对网络进行反复训练，直至得到合适的映射结果。 * 6.3 反馈神经网络 反馈网络(Recurrent Network)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； 第二，系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 * 6.3.1 离散Hopfield网络 1. 网络的结构和工作方式 离散Hopfield网络是一个单层网络，有个神经元节点，每个神经元的输出均接到其它神经元的输入。 各节点没有自反馈，每个节点都附有一个阀值。每个节点都可处于一种可能的状态（1或－1），即当该神经元所受的刺激超过其阀值时，神经元就处于一种状态（比如1），否则神经元就始终处于另一状态（比如－1）。 * * 整个网络有两种工作方式：即异步方式和同步方式。 1). 异步方式 2). 同步方式 2. 稳定性和吸引子 3. 连接权的设计 4. 联想记忆 * 6.3.2 连续Hopfield网络 连续Hopfield 网络也是单层的反馈网络。其实质上是一个连续的非线性动力学系统，它可以用一组非线性微分方程来描述。当给定初始状态，通过求解非线性微分方程组即可求得网络状态的运行轨迹。若系统是稳定的，则它最终可收敛到一个稳定状态。 * 6.3.3 Boltzmann机 Boltzmann机网络结构和工作方式 Boltzmann机网络是一个相互连接的神经网络模型，具有对称的连接权系数，及wij＝wji且wii=0。网络由可见单元（Visible Unit）和隐单元（Hidden Unit）构成。可见单元由输入、输出部分组成。每个单元节点只取1或0两种状态。1代表接通或接受，0表示断开或拒绝。当神经元的输入加权和发生变化时，神经元的状态随之更新。各单元之间状态的更新是异步的。 * 与Hopfield网络相似，Boltzmann机的实际运行也分为两个阶段： 第一阶段是学习和训练阶段，即根据学习样本对网络进行训练，将知识分布地存储于网络的连接权中； 第二阶段是工作阶段，即根据输入运行网络得到合适的输出，这一步实质上是按照某种机制将知识提取出来。 * 2. 网络的学习和训练 网络学习的目的是通过给出一组学习样本，经学习后得到Boltzmann机各种神经元之间的连接权wij . Boltzmann机网络学习的步骤可归纳如下： 1). 随机设定网络的连接权wij(0)及初始高温。 2). 按照已知的概率p(xα)，依次给定学习样本。在样本的约束下，按照模拟退火程度