神经网络优化计算.pptxVIP

第五章 神经网络优化计算 ;5.1 人工神经网络的基本概念 5.1.1 发展历史 5.1.2 McCulloch-Pitts神经元 5.1.3 网络结构的确定 5.1.4 关联权值的确定 5.1.5 工作阶段 5.2 多层前向神经网络 5.2.1 一般结构 5.2.2 反向传播算法 5.3 反馈型神经网络 5.3.1 离散Hopfield神经网络 5.3.2 连续Hopfield神经网络 5.3.3 Hopfield神经网络在TSP中的应用;5.1 人工神经网络的基本概念 ;5.1 人工神经网络的基本概念 ;;5.1 人工神经网络的基本概念 ;5.1 人工神经网络的基本概念 ;5.1 人工神经网络的基本概念 ;网络的拓扑结构 前向型、反馈型等 神经元激活函数 阶跃函数 线性函数 Sigmoid函数;2021/1/18;2021/1/18;2021/1/18;2021/1/18;2021/1/18;2021/1/18;2021/1/18;2021/1/18;2021/1/18;2021/1/18;确定的内容 权值wi和θ 确定的方式 学习（训练） 有指导的学习：已知一组正确的输入输出结果的条件下，神经网络依据这些数据，调整并确定权值； 无指导的学习：只有输入数据，没有正确的输出结果情况下，确定权值。 ;学习与工作的关系 先学习→再工作;前馈型网络（BP网络）：一类单方向层次型网络模块，它包括输入层、输出层和中间隐蔽层。从学习的观点看，前馈型网络是一类强有力的学习系统，其结构简单且易于编程。而从信息处理观点看，它主要是一类信息“映射”处理系统，可使网络实现特定的刺激–––反应式的感知、识别和推理等。（万能函数逼近器） 反馈型动态网络（Hopfield网络)：一类可实现联想记忆及联想映射的网络，这一颇具吸引力的特性使得它在智能模拟中被广泛关注。反馈型动态网络可用于信息处理系统在于它具有稳定吸引子。(可用于优化计算领域）;5.2 多层前向神经网络;5.2 多层前向神经网络;5.2 多层前向神经网络;5.2 多层前向神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网??;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;5.3 反馈型神经网络;能量函数的构建 每个神经元接收到的值为zij，其输出值为yij，激活函数采用Sigmoid函数，记两个城市x和y的距离是dxy。 1）希望每一行的和为1，即 最小，每一行最多有一个1时，E1＝0。;能量函数的构建 2）希望每一列的和为1，即 最小，每一列最多有一个1时，E2＝0。 3）希望每一行每一列正好有一个1，则 为零。;能量函数的构建 4）E1，E2，E3只能保证TSP的一个可行解，为了得到TSP的最小路径，当duv=dvu时，希望 最小，其中，yu0=yun，yu(n+1)=yu1。duvyuiyv(i+1)表示城市u和v之间的距离（i代表行走顺序）。;能量函数的构建 5）根据连续Hopfield神经网络能量函数， 最后，能量函数表示为： A，B，C，D，α为非负常数。;能量函数的构建 由动力学方程， ;能量函数的构建 整理后得到：;10城市TSP问题（d*=2.691） 0.4 0.4439; 0.2439 0.1463; 0.1707 0.2293; 0.2293 0.761; 0.5171 0.9414; 0.8732 0.6536; 0.6878 0.5219; 0.8488 0.3609; 0.6683 0.2536; 0.6195 0.2634;10城市TSP问题（d*=2.691）