第1章：神经网络控制理论.ppt

* 若m个样本 不是两两正交，且设向量之间的内积为： ，显然 。则有 取其中第j个元素 若能使得且对于所有的j有 则 是网络的吸引子。 * 上式右端可进一步化为 其中 。进而若能使得 ，即 则可以保证所有的样本均为网络吸引子 * m个样本满足 其中 则有 从而得出m个样本均为网络吸引子的条件为 注意，上式仅为充分条件。当不满足上述条件时，需要具体检验才能确定。 * 4). 记忆容量 所谓记忆容量是指：在网络结构参数一定的条件下，要保证联想功能的正确实现，网络所能存储的最大的样本数。也就是说，给定网络节点数n，样本数m最大可为多少，这些样本向量不仅本身应为网络的吸引子，而且应有一定的吸引域，这样才能实现联想记忆的功能。 * 记忆容量不仅与节点数n有关，它还与连接权的设计有关，适当地设计连接权可以提高网络的记忆容量。记忆容量还与样本本身的性质有关，对于用Hebb规则设计连接权的网络，如果输入样本是正交的，则可以获得最大的记忆容量。实际问题的样本不可能都是正交的，所以在研究记忆容量时通常都假设样本向量是随机的。 * 记忆容量还与要求的吸引域大小有关，要求的吸引域越大，则记忆容量便越小。一个样本向量 的吸引域可以看成是以该向量为中心的球体。在该球体中的向量 满足 式中 为吸引半径。 对于给定的网络，严格的分析并确定其记忆容量并不是一件很容易的事情。Hopfield曾提出了一个数量范围，即 。按照样本为随机分布的假设所作的理论分析表明，当 时，其记忆容量为 其中 为要求的吸引半径。 * 上面提到，当样本为两两正交时可以有最大的记忆容量。对于一般的记忆样本，可以通过改进连接权的设计来提高记忆容量。下面介绍其中的一种方法。 设给定m个样本向量 ，首先组成如下的 阶矩阵 对A进行奇异值分解 其中 U是n?n正交阵，V是 正交阵，U可表示成 * 则 是对应于非零奇异值 的左奇异向量，且组成了A的值域空间的正交基； 是 A的值域的正交补空间的正交基。 按如下方法组成连接权矩阵W和阈值向量?。 显然，按上述方法求得的连接权矩阵是对称的。因而可以保证异步工作方式的稳定性，下面进一步证明给定的样本向量 都是吸引子。 * 由于 是A的值域空间的正交集，所以A中的任一向量 均可表示为 的线性组合，即 由于U为正交阵，所以 为互相正交的单位向量，从而对任一向量 有 进而有 * 对于任一样本向量 有 从而有 对于第m个样本 有 从而有 以上推证过程说明，按照这种方法设计的连接权矩阵，可以使得所有的样本 均为网络的吸引子。而不要求它们两两正交，也就是说，按此设计提高了网络的记忆容量。 * 例1-5 对如图1-35所示的离散Hopfield网络进行设计。其中网络节点数为n=4, ?i=0(i=1,2,3,4)，样本数为m=2，两个样本为 解 首先根据Hebb规则式(1-57)求得连接权矩阵为 * 这里 ，相等于 ，显然它不满足上面给出的充分条件。 和 是否是网络的吸引子需具体加以检验： 可见，两个样本 和 均为网络的吸引子。事实上，由于 = ，只要其中一个是吸引子，那么另一个也必为吸引子。 下面在考察这两个吸引子是否具有一定的吸引能力，即是否具备联想记忆的功能。 * (1)?设 ，显然它比较接近 。 下面用异步方式按1,2,3,4的调整次序来演变网络： 即 。 可见，只需异步方式调整一步既收敛到 。 * (2)