计算智能与深度学习 课件 2神经网络－6hopfield网络.ppt

*网络中神经元(x,i)与(y,j)的联接权值为：式中：外部输入偏置电流为：霍普菲尔德和泰克(Tank)经过实验，认为取初始值为：Q＝S＝P＝500，T＝200，其求解10个城市的TSP得到良好的效果。*求解TSP的连接神经网络模型的运动方程有的地方也表示为：霍普菲尔德和泰克(Tank)经过实验，认为取初始值为：Q＝S＝500，T＝200，P＝500，RxiCxi＝1，U0＝0.02时，其求解10个城市的TSP得到良好的效果。人们后来发现，用连续霍普菲尔德网络求解像TSP这样约束优化问题时，系统S、Q、P、T的取值对求解过程有很大影响。*7．5本章小结(1/2)设计Hopfield网络的目的是用来存储一些平衡点集当给定初始状态后，该网络最终能在设计点上平衡。该网络是递归的，其输出反馈为网络的输入。在理想状态下，网络的输出恰好是原始的设计点。*Hopfield网络可以作为误差纠正或向量归类网络从理论上说，Hopfield网络有意义但实际上使用上要注意:因为即使是最好的Hopfield网络，也会有伪平衡点，从而可能导致错误结果。7．5本章小结(2/2)*作业：设计一个三元的霍普菲尔德网络，使网络存储的目标平衡点为：*7．3．6DHNN权值设计的其他方法除了前面的用Hebb规则设计的权这一方法外，还有下列设计方法：δ学习规则方法伪逆法外积法正交化的权值设计方法*(2)伪逆法N=WP=W＝N×P#（*******）其中P#为P的伪逆，有P#＝(PTP)-1PT，如果样本之间是线性无关的，则PTP满秩，其逆存在，则可由(*******)式求权矩阵W来。由于存在求逆等运算，伪逆法较为繁琐，而海布法则要容易求得多。δ学习规则DHNN权值设计的其他方法介绍*（3）外积法求DHNN算法（联想记忆）（1）根据需要记忆的样本P1,P2,…,Pq,用外积法设计权（2）令输入样本或测试样本为网络输出的初值。如Pl（3）迭代演算：直到:此时，Pl被吸引到已学习过的记忆样本的某个吸引子上。*外积法求DHNN例：（联想记忆）对n=5的DHNN网络，要求记忆的样本为：P1=(1,1,1,1,1)T,P2=(1,-1,-1,1,-1)T,P3=(-1,1,-1,-1,-1)T并不满足正交条件，按外积计算权矩阵：*计算可得：sgn(WP1)=P1,sgn(WP2)=P2,sgn(WP3)=P3.网络可能的输出状态：25种=32个矢量。分析一下其稳定点的情况：共有4个稳定点：P1,P2,P3,P4=(-1,1,1,-1,1)T.其中:P1,P2,P3为要求的稳定点，P4为伪稳定点。P4=-P2.把32种可能的输出矢量作为初值来检验:*1)串行工作下：10个收敛于P1，8个收敛于P2，8个收敛于P3，6个收敛于P4.10+8+8+6=321)并行工作下：8个收敛于P1，1个收敛于P2，2个收敛于P3，1个收敛于P4.而其他20个都使网络陷入极限环。P为稳定点，-P是否是稳定点？(一定也是!!)*伪逆法设r=s=n,q个样本。把样本按序排列成一个矩阵：P=（P1,P2,…,Pq)设网络输出为一个矩阵N，与P对应权矩阵W，迭代步I=0.WP=N.N′=sgn(N).W=NP*伪逆P*=(PTP)-1PT,当样本间线性无关时，PTP满秩（rank(PTP)=q).可保证自己收敛到自己。如果N与P完全相同，则W对称。只要N中每个元素与WP中每个元符号相同，就可保证收敛到自身。*伪逆法例设记忆样本为：P1=(1,1,1,1,1)T,P2=(1,-1,-1,1,-1)T,P3=(-1,1,1,-1,-1)T.则则W=NP#=N(PTP)-1PT=W可以保证输入P1,P2,P3时收敛到自己。？*(4)正交化的权值设计这一方法的基本思想和出发点是为了满足下面四个要求：1)保证系统在异步工作时的稳定性；2)保证所有要求记忆的稳定平衡点都能收敛到自己；3)使伪稳定点的数目尽可能的少；4)使稳定点的吸引域尽可能的大。*(4)正交化的权值设计虽然正交化设计方法的数学设计较为复杂，但与外积法相比较，所设计出的平衡稳定点能够保证收敛到自己,并且有较大的稳定域。在MATLAB工具箱中已