[工学]42 人工神经网络的模型及算法.pptVIP

按不同特征的分类是相互独立的，因此可以取出其中的 一个神经元来讨论，其输入输出关系为 方程 是把n维输入空间分为 两个子空间、其分界线为n-1 维的超越平面。 如果存在一组权参数 ，i=1，2，…，n及 使公式 (1) 满足 则称样本集为线性可分的，否则称为线性不可分的。 令 ， ，则在（1）式中， 其中， 。学习步骤为： （1）随机地给定一组连接权 （较小的非零值），这里 为 时刻第 个输入上的权( ) ， 为 时刻的阈值。 （2）输入一组样本 和期望的输出 （亦 称之为教师信号）。 （3）计算感知器实际输出： （4）按下式修正权值： （5）选取另外一组样本，重复（2）~（4）过程，直到权值对一切样本均稳定不变为止，学习过程结束。 单层感知器只能满足线性分类，如果有两类样本A、B，它们不能用一个超平面将它分开，则感知器的学习算法不能收敛，得不出任何结果。 例如，不能实现异或（XOR）逻辑运算 单层感知器有它的局限性。但是，它在神经网络研究中有着重要的意义和地位。 它提出了自组织、自学习的思想，对能够解决的问题，有一个收敛的算法，并从数学上给出了严格的证明。 感知器算法是至今存在的众多算法中最清楚的算法之一。 它不但引起了众多学者对神经网络研究的兴趣，推动了神经网络研究的发展，而且后来的许多神经网络模型都是在这种指导思想下建立的，或者是这种模型的改进和推广。 3.2.2 BP网络 BP(Back Propagation)是误差逆传播（Error back-propagation）网络的简称。 它是应用最广、其基本思想直观、最容易理解的多层前向神经网络。 一、网络的结构与学习算法 典型的BP网络是三层的前向网络，即输入层、隐含层（也称中间层）和输出层。各层之间实行全连接，如图所示。 BP网络的学习由四个过程组成： “模式顺传播”→“误差逆传播”→“记忆训练” →“学习收敛” BP网络学习规则有时也称广义δ规则。 （1） 模式的顺传播 设输入模式向量为 其中， m ——学习模式对的个数， n——输入层单元个数； 对应输入模式的希望输出向量为 ——输出层单元个数； 中间层各单元的输入 式中， ——输入层至中间层的连接权； ——中间层单元的阈值； ——中间层单元的个数。 中间层各单元的输出： 式中 为中间层单元的激活值。 s函数具有可微分性——BP算法中要求函数可微 饱和非线性特性——增强了网络的非线性映射能力 计算输出层各单元的输入、输出： 式中， ——中间层至输出层连接权； ——输出层单元阈值； ——S函数； （2）误差的逆传播 输出层各单元的校正误差： 中间层各单元的校正误差： 调整输出层至中间层之间的连接权，以及输出层各单元的阈值： （学习系数） 中间层至输入层之间的连接权，以及中间层各单元的阈值： （3） 训练过程 所谓训练过程，是指反复学习的过程，也就是根据教师示教的希望输出与网络实际输出的误差调整连接权的过程。 （4） 收敛过程 学习或者说训练的收敛过程就是网络全局误差趋向于极小值的过程。 一般全局误差有以下两种定义： i）平均平方（