第三章节 前馈神经网络模型.pptVIP

第三章 前馈神经网络模型 前馈神经网络：由一层或多层非线性处理单元组成。相邻层之间通过突触权阵连接起来。由于前一层的输出作为下一层的输入，因此此类神经网络为前向神经网络。 在前向神经网络结构中输入输出之间包含着一层或多层隐含层。 前向神经网络可以看成是一种一组输入模式到一组输出模式的系统变换，这种变换通过对某一给定的输入样本相应的输出样本集的训练而得到，为了实现这一行为，网络的权系数在某种学习规则下进行自适应学习，也就是有导师指导学习。 内容提要 感知器 多层感知器 自适应线性元模型 BP算法 第一节 感知器 线性阈值单元 线性阈值单元是前向网络（又称前馈网络）中最基本的计算单元，它具有n个输入（x1,x2,…,xn），一个输出y，n个连接权值（w1,w2,…,wn），且 感知器简介 1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，称为Perceptron，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递的层次型神经网络。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络研究起了重要推动作用。 感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经网络研究中具有重要意义，是研究其它网络的基础，而且较易学习和理解，适合于作为学习神经网络的起点。 感知器模型结构 感知器的模型结构如图所示。感 知器是指只有一层处理单元的感 知器，如果包括输入层在内，应 为两层。图中输入层也称为感知 层，有n个神经元节点，这些节点 只负责引入外部信息，自身无信 息处理能力，每个节点接收一个 输入信号，n个输入信号构成输 入列向量X。输出层也称为处理层，有m个神经元节点，每个节点均具有信息处理能力，m个节点向外部输出处理信息，构成输出列向量O。两层之间的连接权值用权值列向量Wj表示，m个权向量构成单层感知器的权值矩阵W。3个列向量分别表示为： 感知器模型结构 感知器模型结构 感知器的功能 感知器的功能 感知器的功能 感知器的功能 感知器的功能 感知器的功能 例一 用感知器实现逻辑“与”功能 例一 用感知器实现逻辑“与”功能 例二 用感知器实现逻辑“或”功能 例二 用感知器实现逻辑“或”功能 思考 感知器的局限性 感知器的局限性 感知器的学习 感知器的学习规则 感知器的学习规则 感知器的学习规则的训练步骤 感知器的学习 感知器的学习 感知器的学习 感知器的学习 第二节 多层感知器 多层感知器简介 多层感知器（Multilayer Perceptron）是一种在输入层与输出层之间含有一层或多层隐含神经元的具有正向传播机制的神经网络模型。 多层感知器克服了单层感知器的许多局限， 单层感知器只能实现线性可分问题和简单布尔函数，多层感知器可以实现线性不可分问题和任意布尔函数。 多层感知器的结构 多层感知器的分类能力 一个单层感知器构成一个半平面判定区域，一个两层感知器可以构成任意无边界的空间区域，这些判定区域有的是凸多边形，有的是无边界的凹区域。凸区域是多层感知器中第一层各个神经元所构成的半平面判定区域（即判定区域）相交而成。 多层感知器性能等价问题 第一层中的神经元就像一单层感知器，所形成的凸区域的边数最多和第一层神经元个数一样多。一个三层感知机能够形成任意复杂的判定区域，也能把那些相互渗透的区域分开。 例子一 1、用单层感知器实现简单逻辑运算。 (1) （与）等价于 ，即 (2) （或）等价于 ，即 (3) （非） 等价于 ，即 例子三 试用单个感知器神经元完成下列分类，写出其训练迭代过程，画出最终的分类示意图。 第三节 自适应线性元模型 自适应线性元件于1961年由美国的Widrow教授提出。适用于信号处理中的自适应滤波、预测和模式识别。 自适应线性元模型结构 自适应线性元模型数学描述 输入 该模型是一自适应阈值逻辑单元。图中x0，x1k，x2k，…，xnk为该自适应线性元在t时刻的外部输入，用向量表示为: Xk＝（x0，x1k，x2k，…，xnk）T 这个向量称为自适应线性元的 输入信号向量或输入模式向量。 自适应线性元模型数学描述 连接权值 与输入向量Xk相对应有一权值向量: Wk=(w0