大连海事大学-刘巍-高等运筹第十六讲.pptVIP

* * * * * * * * * * * * * * * * * 构造连接权重和阈值 根据公式 计算得到 其中 * * 下面干什么？ 若是硬件实现，那就随意设置初值开始算啦！ 若是软件仿真，那就编写程序算啦！ 最好多算几次！ * * 优点 速度快！ 其它好处似乎没有啦！ * * 缺点 理论上证明只能收敛到局部极小点，不能保证算法只有一个局部极小点 甚至收敛到不可行解 对参数非常敏感，稍微改变算法就不灵了！ 改进余地非常大！ * * 算法设计 参数选择 D值大比较好 初始值选择 随机选择 S函数简化 离散化 * * 算法改进 大量的工作集中于修改Hopfield提出的能量函数 * * 算法改进 * * 算法混合 HNN+GA * * 算法混合 HNN+GA * * 其它神经网络 随机神经网络(RNN) 动态随机神经网络(DRNN) 脉冲耦合神经网络(PCNN) 混沌神经网络(CNN) * 本讲 结束 课程结束！谢谢！ 大连海事大学 刘 巍 2013年12月24日 我的联系方式 liuwei09@ * * * * * * * * * * * * * * * * * * * * * * 算法设计 收敛误差界值 在网络训练过程中应根据实际情况预先确定误差界值。 误差界值的选择完全根据网络模型的收敛速度大小和具体样本的学习精度来确定。 当选择较小时，学习效果好，但收敛速度慢，训练次数增加。 取得较大时则相反。 * * 算法改进 由于BP网络采用误差反传算法，其实质是一个无约束的非线性最优化计算过程，在网络结构较大时不仅计算时间长，而且很容易限入局部极小点而得不到最优结果。 目前已有改进BP法、遗传算法（GA）和模拟退火算法等多种优化方法用于BP网络的训练。 * * 前向网络进一步需研究的问题 局部最优问题，（网络初值选取不恰当）。 学习算法收敛速度慢，Sigmaid函数本身存在无穷多闪导数，而BP算法只用了一次导数，致使收敛速度慢。 网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非浅性动力系统。 网络隐层节点个数和初始权值的选取，尚无理论指导。 * * 题 目： 基于自适应BP神经网络的结构损伤检测 题 目： 基于BP神经网络的企业技术创新能力评价及应用研究 题 目： BP神经网络预测油田废水混凝处理效果 题 目： 基于BP神经网络构建城市时需水量预测模型 题 目： BP神经网络在焉耆盆地水质评价中的应用 题 目： BP神经网络在焉耆盆地农田排水量估算中的应用 题 目： 基于优化BP神经网络的中子法检测煤中氢含量 题 目： BP神经网络进行系统辨识的红外图像超分辨力复原方法 题 目： 基于BP神经网络的长江流域人口预测研究 题 目： BP神经网络在脑电图信号预测中的应用 一个相对比较容易完成的选题！ * * 第4节 反馈人工神经网络 * * Hopfield 网络 Hopfield 网络 1982年，Hopfield开创性地在物理学、神经生物学和计算机科学等领域架起了桥梁，提出了Hopfield 反馈神经网络模型(HNN)，证明在高强度连接下的神经网络依靠集体协同作用能自发产生计算行为。 与前向神经网络相比，后者有学习能力；前者具有联想记忆功能和解决优化问题的能力 * * 与前向神经网络比较 BP神经网络 Hopfield神经网络 * * Hopfield 网络 Hopfield 网络 Hopfield 网络是典型的全连接网络 网络的状态满足一个非线性动力学方程，可表现出丰富的动态特性，如收敛，发散，极限环，混沌等。 * * Hopfield 网络 Hopfield 网络 在一定的条件下，赋予网络某个初值，系统将迅速演化到某个静止状态，即所谓稳态。 稳态由各个神经元的连接权值确定，并不唯一 从不同的初值出发会演化到不同的稳态 可以构造一个状态的能量函数，并证明稳态对应的能量函数取极小 * * Hopfield 网络 HNN 优化问题 网络的状态 优化问题的解 能量函数 目标值 稳态 极小点 * * Hopfield 网络 1985 年Hopfield 和Tank 两人用连续HNN尝试解决TSP ，获得了成功. 其基本思想是把TSP问题映射到CHNN 网络中去, 使用换位矩阵表示有效路径,并设法用网络能量代表路径总长作用于反馈回路调节输入变化, 从而使得网络能量为最小———得到最短路径. 由于Hopfield 网络状态更新规则只能使能量函数往减小的这一个方向变化, 能量函数很容易陷入局部最小值,使得网络解不能够达到路径最优. 所以并不理想！ * * DHNN 离散型Hopfield 网络采用