神经网络反馈网络09.pptVIP

离散Hopfield网络-DHNN 1、各神经元采用M—P神经元 2、激活函数为0、1符号函数 3、一般权值对称 4、无自反馈 离散Hopfield网络---DHNN 稳定状态：又称吸引子，从t=0的任一初始状态开始变化， 离散Hopfield网络-DHNN 例子: 三节点DHNN的状态 转移过程 离散Hopfield网络---DHNN 对于三节点的DHNN 离散Hopfield网络---DHNN 能量函数： 离散Hopfield网络---DHNN 联想记忆（Associative Memory) 离散Hopfield网络---DHNN 1 、 学习规则 离散Hopfield网络---DHNN 向量形式: 离散Hopfield网络---DHNN 多余吸引子问题： 连续Hopfield 网络-CHNN 1、各神经元激活函数采用 Sigmoid函数 2、一般权值对称 3、无自反馈 连续Hopfield网络---CHNN 能量函数： 连续Hopfield网络---CHNN 作 业 给定待存向量 * 串行（异步）工作方式：任一时刻只有一个神经元改变状态 并行（同步异步）工作方式：某一时刻所有神经元同时改变状态 ---Little模型 在时刻t，从此以后网络状态不再变化，即 几个概念 无论从任何初态开始，网络都收敛到（011） 两个问题： 1、DHNN 有无稳定态？ 2、如何获得期望的稳定态？ 可以证明： 1|、Hopfield：DHNN，在串行模式下，如W 的 对角元非负（包括0）网络总能收敛于稳定态（即在状态空间没有极限环存在）。2、Goles：DHNN，在并行模式下，网络总能收敛于稳定态或小于2的极限环。 反馈网络会收敛于其稳定态（吸引子），使得他可以用作为联想记忆。即给定一组期望的网络的状态(样本)M， 若，网络的初态在M中，则网络的状态不变。 若，网络的初态不在M中，则网络的状态演变到与初态在Hamming距离意义下最近的M中的状态 在学过程中存入M 个样本 ,若输入 ，其中 是 M 个学习样本之一，V是噪声，要求网络的稳定态等于 ，即使之在干扰下复原。 规定两组样本之间有一定的对应关系 ， 若输入 ， 是M 个学习样本之一，V是噪声，要求网络的稳定态输出等于 。 1) 自联想记忆（Auto-AM） 2）异联想记忆（Hetero-AM） ---即若实际输出与期望输出之间有偏差，权值进行微量调整。 2、外积规则（Hebb学习规则） ---即，若i，j 两个神经元同时处于兴奋态，则他们之间的连接 应加强。对于给定的一组学习样本（向量） 是稳定态 证明：假设 两两正交，且： 由于 1、当基本向量较大时，可能存在局部极小点。 除了设计的能量井，也可能产生不希望的能量井； 2、若X是稳定态，则 –X也是稳定态； 3、奇数个基本向量的线性组合也是稳定态。 可以证明：若 为单调增且连续， ， 则网络一定收敛于稳定态。 由能量函数得到： 上式与网络方程比较得到： 且 时，有 以上结果表明：随时间演变，网络总是朝能量减 少方向运动，网络达到稳态时，能量最小。 1、用外积规则确定权矩阵 2、验证如上三个状态是稳定态 3、找出所有稳定态 4、设定初态为 求网络会稳定到哪个状态上