工学人工神经网络的模型及算法.pptxVIP

工学人工神经网络的模型及算法第1页/共39页 2图4.2.1 单层感知器网络 图4.2.2单层单个神经元的感知器 第2页/共39页 3 按不同特征的分类是相互独立的，因此可以取出其中的一个神经元来讨论，其输入输出关系为第3页/共39页 4方程是把n维输入空间分为 两个子空间、其分界线为n-1维的超越平面。 如果存在一组权参数 ，i=1，2，…，n及 使公式 (1)满足 则称样本集为线性可分的，否则称为线性不可分的。第4页/共39页 5令 ， ，则在（1）式中， 其中， 。学习步骤为：（1）随机地给定一组连接权 （较小的非零值），这里 为 时刻第 个输入上的权( ) ， 为 时刻的阈值。（2）输入一组样本 和期望的输出 （亦 称之为教师信号）。第5页/共39页 6（3）计算感知器实际输出：（4）按下式修正权值： 第6页/共39页 7 （5）选取另外一组样本，重复（2）~（4）过程，直到权值对一切样本均稳定不变为止，学习过程结束。 单层感知器只能满足线性分类，如果有两类样本A、B，它们不能用一个超平面将它分开，则感知器的学习算法不能收敛，得不出任何结果。 例如，不能实现异或（XOR）逻辑运算 第7页/共39页 8单层感知器有它的局限性。但是，它在神经网络研究中有着重要的意义和地位。它提出了自组织、自学习的思想，对能够解决的问题，有一个收敛的算法，并从数学上给出了严格的证明。 感知器算法是至今存在的众多算法中最清楚的算法之一。它不但引起了众多学者对神经网络研究的兴趣，推动了神经网络研究的发展，而且后来的许多神经网络模型都是在这种指导思想下建立的，或者是这种模型的改进和推广。第8页/共39页 9图4.2.3 BP网络结构输出层隐含层输入层第9页/共39页 103.2.2 BP网络 BP(Back Propagation)是误差逆传播（Error back-propagation）网络的简称。 它是应用最广、其基本思想直观、最容易理解的多层前向神经网络。一、网络的结构与学习算法 典型的BP网络是三层的前向网络，即输入层、隐含层（也称中间层）和输出层。各层之间实行全连接，如图所示。第10页/共39页 11BP网络的学习由四个过程组成： “模式顺传播”→“误差逆传播”→“记忆训练” →“学习收敛” BP网络学习规则有时也称广义δ规则。 （1） 模式的顺传播设输入模式向量为其中， m ——学习模式对的个数， n——输入层单元个数；第11页/共39页 12对应输入模式的希望输出向量为 ——输出层单元个数；中间层各单元的输入式中， ——输入层至中间层的连接权； ——中间层单元的阈值； ——中间层单元的个数。第12页/共39页 13中间层各单元的输出：式中 为中间层单元的激活值。s函数具有可微分性——BP算法中要求函数可微 饱和非线性特性——增强了网络的非线性映射能力第13页/共39页 14图4.2.3 BP网络结构第14页/共39页 15计算输出层各单元的输入、输出： 式中， ——中间层至输出层连接权； ——输出层单元阈值； ——S函数；第15页/共39页 16（2）误差的逆传播 输出层各单元的校正误差： 中间层各单元的校正误差： 第16页/共39页 17第17页/共39页 18 调整输出层至中间层之间的连接权，以及输出层各单元的阈值： （学习系数） 第18页/共39页 19中间层至输入层之间的连接权，以及中间层各单元的阈值：