神经网络导论第二章.pptVIP

第二章 内容提要 自适应线性元模型 感知机 多层感知机和BP算法 第一节 自适应线性元模型 自适应线性元模型结构 自适应线性元模型数学描述 输入 该模型实际上是一自适应阈值逻辑单元。图中x0，x1k，x2k，…，xnk为该自适应线性元在t时刻的外部输入，用向量表示为: Xk＝（x0，x1k，x2k，…，xnk）T 这个向量称为自适应线性元的输入信号向量或输入模式向量。 自适应线性元模型数学描述 连接权值 与输入向量Xk相对应有一权向量: Wk=(w0k，w1k，w2k，…，wnk)T 其中每一元素与输入向量Xk中的每一元素相对应。 w0k为基权，称为门限权，用来调整自适应线性元的阈值。 自适应线性元模型数学描述 输出 模拟输出 二值输出 自适应线性元模型数学描述 理想输入 在图中的自适应线性元中有一特殊的输入dk，即理想输入。 该输入是用来将理想响应信号送入自适应线性元中，在自适应线性元中通过比较yk和理想响应dk，并将差值送入最小均方差(LMS)学习算法机制中来调整权向量Wk，使得yk和所期望的输出dk相一致。 LMS学习过程（图述） LMS学习过程（文字说明） 1、提交学习样本； 2、计算神经网络的输出； 3、计算实际输出和理想输出的误差； 4、按照权值修改规则修改神经网络权值； 5、计算学习结束判据； 6、学习结束否？ 7、达到要求学习结束，否则转1。 LMS学习算法权值修改规则 其中： 为当前的误差（即理想输出与模拟实际输出之间的差值）； 称为学习速度(Learning Rate)。 ADALINE学习算法实质分析 的取值 的选择决定了收敛的稳定性和收敛的速度。 稳定性要求：0 2。但是 过大可能会修正过度，一个比较好的选择范围是0.1 1。 LMS算法的几何解释 ADALINE模型计算能力分析 若ADALINE输入为二值，它可以完成一定的逻辑功能。 若有n个输入，即则有2n个可能的输入模式。在一般的逻辑实现中，依照所期望的输出响应，可以将个输入模式划分成＋和－两类。每一个自适应线性元模型可以完成某一种逻辑功能，因而我们也可以把自适应线性元看成是一逻辑部件。 ADALINE模型计算能力分析 每个自适应线性元的功能也主要由各个权值所确定。 每个自适应线性元只能实现逻辑空间上的线性划分， ADALINE模型学习过程举例 网络模型 ADALINE模型的学习曲线 第二节 感知机 感知机模型结构 感知机(Perceptron) 结构如下图所示。它是一个简单的单层神经网络模型。输入层是含有n个处理单元的神经元组，输出层只有一个处理单元，所有处理单元都是线性阈值单元。 感知机的计算 感知机的几何意义 感知机的几何意义在于它在多维空间上利用一超平面将两类模式A和B分开。这时超平面方程为： 感知机权值调整算法（文字） 1、初始化：赋予和一个较小的随机非零值。 2、将一模式送入输入神经元，并给出理想 输出值。 3、计算神经网络模型的实际输出： 4、调节权值: 5、转2，直到学完所给定的所有输入样本。 感知机权值调整算法（图示） 感知机的缺陷 Rosenblatt已经证明，如果两类模式在分布空间中可以找到一个超平面将它们分开，那么感知机的学习过程就一定会收敛。否则判定边界就会振荡不休，永远不会稳定，这也正是单层感知机所无法克服的缺陷，所以它连最简单的异或（XOR）问题也解决不了。 第三节 多层感知机和BP算法 多层感知机简介 多层感知机（Multilayer Perceptron）是一种在输入层与输出层之间含有一层或多层隐含结点的具有正向传播机制的神经网络模型。多层感知机克服了单层感知机的许多局限，它的性能主要来源于它的每层结点的非线性特性（节点输出函数的非线性特性）。如果每个结点是线性的，那么多层感知机的功能就和单层感知机一样。 多层感知机的结构 多层感知机的分类能力 一个单层感知机构成一个半平面判决区域，一个二层感知机可能构成任意无边界的空间区域，这些判决区域有时是凸多边形，有时是无边界的凹区域。凸区域是多层感知机中第一层各个处理单元所构成的半平面决定区域（即判决区域）相交而成。 各种感知机能力分析 各种感知机能力分析 多层感知机性能等价问题 第一层中的处理单元就像一单层感知机，所形成的凸区域的边数最多和第一层结点个数一样多。一个三层感知机能形成任意复杂的决定区域，也能把表中所示的那些相互渗透的区域分开。 多层感知机学习算法概述 BP算法的基本过