【智能控制】无监和Hopfield网络-4.pptVIP

* 无监督学习神经元网络 ●竞争学习和Kohonen自组织网络 竞争学习根据输入模式来更新权值，输入单元i与所有输出单元j 用wij 连接。输入的数目即为输入的维数，输出的数目即为输入数据要聚类的数目。 具有最大激励单元k（获胜单元） 更新权值，其它不变。 举例： 训练模式: 化成极坐标形式： 归一化的初始权值为： 设?为0.5,输入x1后,权值变化为: 第一个神经元为胜者,w1(0) 更接近于x1,按此方式迭代,直到平衡. ? ? 最终向量 ● Hopfield网络 是单层反馈网络.有二种形式:连续和离散 特点: 1)自联想.回归(或全连接),所有神经元与其它单元相连, 但,无自连接; 2)按内容编址存贮器方式进行操作,新提供的输入模式 可自动找到已存贮的合适模式. 工作原理 Hopfield网络可以看成是一个动态系统,其相空间包含代表系统 基本存贮内容的固定(稳定)点的集合. Hopfield网络可以检索信息,以一定的误差恢复信息. 对于具有N个神经元的网络，其状态可以用向量S来确定： S是N位二进制信息，满足以下条件： 1）时间t趋近无限，允许回归网络达到稳态； 2）在非线性函数的原点，斜率无穷大，具有硬限幅器特性。 工作过程 1）存贮阶段。确定权值矩阵。设要存贮的向量为： 则按外积规则，神经元i到神经元j的连接权定义为： 写成向量形式： 10 2）第二阶段 信息检索 输入信息，进行随机的、异步的迭代，直到网络达到稳定，这时单元的输出为： 稳定条件也称匹配条件。状态向量满足匹配条件的称系统相空间的稳定点或固定点，检索完成，Hopfield收敛到稳态。 举例： 由3个神经元组成的Hopfield网络，有2个基本存贮器，存贮2个 向量[1，-1，1]和[-1，1，-1]，设计权连接矩阵。 按公式： 相应的连接图形如右： 8 满足匹配条件的固定点或向量计算如下： 其它点都是不稳定的点，例如，对[1，1，1]，和[1，1，-1]，迭代结果 都移向稳定点。 对[1，1，1] 对[1，1，-1] 此过程可用图 表示如右： ● 关于Hopfield网络的稳定性问题 设定网络的能量函数： 保证： 讨论 Hopfield网络的工作过程有4个步骤： 1）存贮（学习），异步、随机。 2）初始化，加入初始试样，然后移走。 3）迭代直至收敛 4）输出，得到稳定点。 有能量函数，保证迭代过程能量的增量为负。 连续Hopfield网络具有同样的性质。 ● 双向联想存贮器 BMA是一个双层回归联想存贮器，是Hopfield网络的扩展， 也是内容编址存贮器，但各单元可以有自反馈。 其连接矩阵可以构造如下： L表示模式向量为L对。