神经网络-第二章.pptxVIP

第1页/共36页神经网络-第二章第2页/共36页2. 感知器神经生理学和神经解剖学的研究表明，大脑中实际的神经网络一般具有层次结构，同时结点间的连接很多属于前馈连接，同时这种前馈连接构成的网络（前馈网络）学习过程比较容易，所以首先讨论前馈网络模型。1958年心理学家Frank Rosenblatt及其合作者首先研究了这种前馈层次网络模型，将其称为感知器(Perception)。第3页/共36页2.1 感知器概述感知器实例简单感知器 两层感知器第4页/共36页2.1 感知器概述在感知器模型中，输入图形x=(x1, x2,…, xN)通过各输入端点分配给下一层的各结点，这下一层称为中间层，它可以是一层或多层，最后通过输出层结点得到输出图形y=(y1, y2,…, yn)。在这种前馈网络模型中，没有层内联接，也没有隔层的前馈联接，每一个结点只能前馈联接到其下一层的所有结点。由于在早期对于含有隐蔽层的多层感知器没有可行的训练算法，所以初期研究的感知器是一层感知器（或称简单感知器，通常简称为感知器）。第5页/共36页2.1 感知器概述感知器的学习是有指导的学习，其训练算法的基本原理来源于Hebb学习律基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵 感知器特别适合简单的模式分类问题，可解决线性划分问题。感知器神经元是在MP模型基础上加上了学习功能，其权值可根据设计目的加以调节。第6页/共36页2.1 感知器概述感知器的神经元结构就是MP模型： 输入与输出的关系： 第7页/共36页2.2 感知器的网络结构一般感知器结构是单层神经网络，其激活函数为二值函数（符号，阈值）： 第8页/共36页2.2 感知器的网络结构权值与偏差 一组输入与输出： 第9页/共36页2.2 感知器的网络结构 多组输入与输出： ，第10页/共36页2.2 感知器的网络结构输入与输出的关系 －矩阵形式： －分量形式：第11页/共36页2.3 感知器的图形解释神经元模型 ： －任意一组参数W和B，在输入矢量空间中，可决定 一条（超）直线或（超）平面等，在该直线或平面上方输出为1；在其下方输出为0； －处理单元实际上是输入信息的分类器，判决输入信息属于两类中的哪一类（A或B类）。第12页/共36页2.3 感知器的图形解释当输入向量为两个分量时，它构成平面上的两维集，此时判决界是一条直线。当s=1和r=2时，有它是在p1Op2平面的一条直线，上方输出1(A类)，下方为0（B类）；或相反。p2p1第13页/共36页2.3 感知器的图形解释当输入向量为三个分量时，它构成三维信号集，此时判决界是一个平面。当输入向量为多个分量时，它构成多维信息空间，此时判决界是一个多维面。第14页/共36页2.4 感知器的学习规则 学习规则－用于计算新的权值矩阵W和偏差B的算法感知器的学习规则 ：1)若第i个神经元的输出正确，即ai=ti，则与第i个神经元连接的权值wij和偏差bi保持不变；2)若第i个神经元的输出是不正确的，则按如下改变权值和偏差： a. 若ai=0, 但ti=1，则权值修正的算法： wij=wij+pj , bi=bi+1 b. 若ai=1, 但ti=0，则权值修正的算法： wij=wij -pj , bi=bi -1第15页/共36页2.4 感知器的学习规则学习规则伪代码 1. 初始化权向量W； 2. 重复下列过程，直到训练完成： 2.1 对每个样本（X,Y），重复如下过程： 2.1.1 输入X； 2.1.2 计算o=F（XW）； 2.1.3 如果输出不正确，则 当o=0时，取 W=W+X， 当o=1时，取 W=W-X第16页/共36页x1o1x2o2………?…xnom输入层输出层多输出感知器2.4 感知器的学习规则样本集：{(X,Y)|Y为输入向量X对应的输出}输入向量：X=(x1,x2,…,xn)理想输出向量：Y=(y1,y2,…,ym)激活函数：F 权矩阵W=(wij)实际输出向量：O=(o1,o2,…,om)第17页/共36页2.4 感知器的学习规则学习规则统一表达： 感知器修正权值公式 分量表示： 矩阵表示：设E=T-A为误差矢量， or or学习的收敛性：该算法属于梯度下降法，有解时收敛。 第18页/共36页感知器神经网络的构建 －运用MATLABnewp() －建立一个感知器sim()－仿真一个神经网络init ()－初始化一个神经网络learnp() －感知器权值学习 举例第19页/共36页2.5 网络的训练网络的训练过程：1. 输入: P, T 网络结构的选取，并计算相关的量2. 初始化：W，B 目标（期望）误差，参数如权值和偏差的初始化[(-1