[数学]神经网络.pptVIP

第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。 BP算法直观解释 情况一直观表达 当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。 0，此时Δwho0 情况二直观表达 当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。 0, 此时Δwho0 BP网络的优点： 非线性映射能力 能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 BP网络的缺点： BP算法的学习速度很慢 网络训练失败的可能性较大 难以解决应用问题的实例规模和网络规模间的矛盾 网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定 新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同 网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾 例：如图所示的多层前向传播神经网络结构。 假设对于期望的输入 ，期望输出 。网络权系数的初始值见图。试用BP算法训练此网络。这里，取神经元激励函数 ，学习步长为 。 1 1 -2 3 2 -1 0 1 0 -2 1 -2 3 x1 x2 1 y1 y2 O1 O2 1 1 -2 3 2 -1 0 1 0 -2 1 -2 3 x1 x2 1 y1 y2 O1 O2 解：1.隐层的输入输出 2.输出层的输入和输出 1 1 -2 3 2 -1 0 1 0 -2 1 -2 3 x1 x2 1 y1 y2 O1 O2 3.判断 4.输出层与隐层的权值修正 5.隐层与输入层的权值修正（略） 6.返回第1步，直到期望输出与实际输出的误差满足要求。 1.基本理论 人类的记忆具有可塑性和稳定性，即在对新输入的信息进行记忆的同时，不会影响以前已经记忆过的信息。然而，通常的神经网络学习算法却不能同时具有可塑性和稳定性。自适应谐振理论（简称ATR）就是为了解决这个问题提出的。 ATR的目的是将竞争学习模型嵌入一个自适应控制结构，使其对于任意输入模型序列能够稳定的进行自治地学习和响应。 12.6 ART神经网络 ART神经网络模型是一个双层神经网络网络，能够学习任意数目的二值模式 ，其中m是用于学习的样本数目。其结构如右图所示。其中输入层的n个神经元对应于学习模式的n个分量，而竞争层的p个神经元对应于输入模式的p个分类。 … … … … … … 竞争层 输入层 ATR网络的拓扑结构 给A RT 网络输入新的模式时，学习系统首先判断网络中欧偶那个石佛偶已有某个类别，该类别由竞争层的单个神经元表示，它包含的模式和新增加的模式充分相似，即新旧样本发生“共振”。 如果有这样的类别，系统将新增加的模式划入该分类中，同时该类别的典型模式将向着与新模式更相似的方向进行调整。 如果不存在这样一个类别，学习系统就通过在竞争层增加一个新的神经元来建立一个新的分类，新增加的模式就作为该类别的典型模式。 也就是说，新的模式将导致网络形成新的类别，而不会影响原有的分类。因此，ART实际上是以一种增量学习的方式对网络进行构造，这样就较好地解决了稳定性——可塑性二难问题。 网络的所有从输入层到竞争层的连接权 在初始化 时都必需满足“直接访问不等式”： （1） 其中L为记录长度，由于 太大可能会导致网络将所有竞争层神经元都分配给某个特定的输入模式，因此L的典型取值为2. 所有由竞争层到输入层的连接权 在初始化时都必须满足“模板学习不等式”： （2） 由于