神经网络紧算法的课件.ppt

Hopfield网络的联想原理 所谓联想可以理解为从一种事物联系到与共相关事物的过程。在日常生活中。由一种事物出发，人们会非常自然地联想到与该事物密切相关或有因果关系的种种事物。 在这里，我们区分两种联想形式，即 。由某种代表事物 (或该事物的主要特征。也可能是部分主要特征)联想到其所表示的实际事物，称自联想，由一种事物 (或该事物的主要特征，也可能是部分主要特征)联想到与其密切相关的另一事物，称异联想。 联想的定义 首先考虑x类模式向量集合 (x1, x2, … , xp） 及y类模式向量集合 (y1, y2, … , yp)， 其中 xi=(x1i, x2i,… , xni ) ， xi ? {-1, +1}n yi=(y1i, y2i,… , ymi ) ， yi ? {-1, +1}m 联想的定义 自联想 (Autoassociation) 给出向量模式xi ， xi满足关系D(xi , x? i) = min(x? i, xj)，即xi含有x? i的主要特征，其中D为某种度量，用以测量两个模式的相似度。若由x? i得到了xi ，即重新构造出xi ，则称此构造过程为自联想过程。 异联想 (Heteroassociation) 给出向量模式xi 。若由xi得到yi ，即实现了两种不同事物之间的对应，则称这个对应过程为异联想过程。 联想的定义 按地址寻找 传统计算机所使用的搜索方法。该方法的实现特点是忽赂了对应事物的内在联系而把事物转换成没有特征的数字 (地址)。以后按地址的变换以某种策略进行寻找。随后对事物进行比较，按某种废量得到所要寻找的目标事物。 按内容寻找 基于事物全部或部分特征来找出目标事物。寻找过程就是事物间特征的对比，而不必知道这些事物的具体贮存地址。从匹配过程来看，这种方法不需要地址的管理及变换，这就有可能极大地提高查寻速度。从观念上来讲，本方法较按地址寻找更接近于人的思维方法，因为在人脑辨识决策过程中，绝大多数是墓千事物之间的联系，也即联想过程。但是，本方法在传统计算机上用确定性算法难以实现，而神经网络方法却能提供一种较好的实现方案。 联想的定义 定义 Hamming距离，两个向量中对应元素不相同的个数，称作这两个向量的汉明距离。例如：x1与x2汉明距离可用下式计算 DH (x1, x2)=1/2?(1? xi1xi2) 联想的定义 模式匹配 对于集合{x1, x2 ,?? , xp}，其中xi=(x1i, x2i ,?? , xni) ， xi?{?1,+1}n 给出输入测试模式x，试在该模式集合中找出与x在汉明距离最为接近意义下的xi， i?{1, 2 ,?? , n}。 联想的定义 计算步骤 (按地址寻找 ) 计算x与所有已存贮模式的汉明距离 for j=1, p DH (x, xj)=1/2?(1? xixij) 找出与x最为相似的模式标号（用k表示） k?1 for j=2, p if DH (x, xj) ? DH (x, xj-1) then k?j 由标号k查找得xk print (xk) 联想的定义 计算步骤 (按内容寻找 ) 学习阶段：形成W（与x1, x2 ,?? , xp有关） 初始阶段：v(0)=x （假设输入x = xk） 运行过程： v(t+1)=sgn(v(t) W) 稳定输出： v= xk ? x11 x21 ?? xn1 x12 x22 ?? xn2 LOC(x1) LOC(x2) x1k x2k ?? xnk x1p x2p ?? xnp LOC(xk) LOC(xp) x1 x2 ?? xn 输入 x ? DH (x1, x) DH (x2, x) ? DH (xk, x) ? DH (xp, x) C C C C x1 x2 xk xp x DH (xk, x) 选择 传统计算机存储及比较方法 x1 x2 xn 神经网络存储及联想方法 x1k x2k xnk v1(t) v2(t) vn (t) wn1 wn2 w21 w12 w2n w1n 吸引子空间分布示意图 v1 v2 v3 联想实例 右图给出一些模拟实例，其中图形象素为130?180，整个网络共存贮了7幅图象。图中左端为带有噪声干扰或不完全的输入图形，中间为网络运行的某时刻的中间状态，右端为网络最终输出。 人工神经元网络（ANN） Artificial Neural Network 生物神经元及生物神经网络 什么是人工神经网络? 人工神经网络就是基于模仿生物大脑的结构和功能而构成的一