工学人工神经网络的模型及算法.pptxVIP

工学人工神经网络的模型及算法 2 图4.2.1 单层感知器网络 图4.2.2单层单个神经元的感知器 第1页/共44页 3 按不同特征的分类是相互独立的，因此可以取出其中的 一个神经元来讨论，其输入输出关系为 第2页/共44页 4 方程 是把n维输入空间分为 两个子空间、其分界线为n-1 维的超越平面。 如果存在一组权参数 ，i=1，2，…，n及 使公式 (1) 满足 则称样本集为线性可分的，否则称为线性不可分的。 第3页/共44页 5 令 ， ，则在（1）式中， 其中， 。学习步骤为： （1）随机地给定一组连接权 （较小的非零值），这里 为 时刻第 个输入上的权( ) ， 为 时刻的阈值。 （2）输入一组样本 和期望的输出 （亦 称之为教师信号）。 第4页/共44页 6 （3）计算感知器实际输出： （4）按下式修正权值： 第5页/共44页 7 （5）选取另外一组样本，重复（2）~（4）过程，直到权值对一切样本均稳定不变为止，学习过程结束。 单层感知器只能满足线性分类，如果有两类样本A、B，它们不能用一个超平面将它分开，则感知器的学习算法不能收敛，得不出任何结果。 例如，不能实现异或（XOR）逻辑运算 第6页/共44页 8 单层感知器有它的局限性。但是，它在神经网络研究中有着重要的意义和地位。 它提出了自组织、自学习的思想，对能够解决的问题，有一个收敛的算法，并从数学上给出了严格的证明。 感知器算法是至今存在的众多算法中最清楚的算法之一。 它不但引起了众多学者对神经网络研究的兴趣，推动了神经网络研究的发展，而且后来的许多神经网络模型都是在这种指导思想下建立的，或者是这种模型的改进和推广。 第7页/共44页 9 图4.2.3 BP网络结构 输出层 隐含层 输入层 第8页/共44页 10 3.2.2 BP网络 BP(Back Propagation)是误差逆传播（Error back-propagation）网络的简称。 它是应用最广、其基本思想直观、最容易理解的多层前向神经网络。 一、网络的结构与学习算法 典型的BP网络是三层的前向网络，即输入层、隐含层（也称中间层）和输出层。各层之间实行全连接，如图所示。 第9页/共44页 11 BP网络的学习由四个过程组成： “模式顺传播”→“误差逆传播”→“记忆训练” →“学习收敛” BP网络学习规则有时也称广义δ规则。 （1） 模式的顺传播 设输入模式向量为 其中， m ——学习模式对的个数， n——输入层单元个数； 第10页/共44页 12 对应输入模式的希望输出向量为 ——输出层单元个数； 中间层各单元的输入 式中， ——输入层至中间层的连接权； ——中间层单元的阈值； ——中间层单元的个数。 第11页/共44页 13 中间层各单元的输出： 式中 为中间层单元的激活值。 s函数具有可微分性——BP算法中要求函数可微 饱和非线性特性——增强了网络的非线性映射能力 第12页/共44页 14 图4.2.3 BP网络结构 第13页/共44页 15 计算输出层各单元的输入、输出： 式中， ——中间层至输出层连接权； ——输出层单元阈值； ——S函数； 第14页/共44页 16 （2）误差的逆传播 输出层各单元的校正误差： 中间层各单元的校正误差： 第15页/共44页 17 第16页/共44页 18 调整输出层至中间层之间的连接权，以及输出层各单元的阈值： （学习系数） 第17页/共44页 19 中间层至输入层之间的连接权，以及中间层各单元的阈值：