2人工神经网络导论第2章.pptVIP

第2章  神经元模型和网络结构 2.1 目的 第1章给出了生物神经元和神经网络的简述。现在来介绍简化的神经元数学模型，并解释这些人工神经元如何相互连接形成各种网络结构。另外，本章还将通过几个简单的实例阐述这些网络如何工作。 本书中将使用本章所引入的概念和符号。 2.2 原理和实例 2.2.1 符号 神经网络是一门新兴学科。迄今为止，人们还并没有对其建立严格的数学符号和结构化表示。另外，神经网络方面的论文和书籍均是来自诸如工程、物理、心理学和数学等许多不同领域，作者都习惯使用本专业的特殊词汇。于是，神经网络的许多文献都难以阅读，概念也较实际情况更为复杂。 在本课中，我们尽可能地使用标准符号。 2.2 原理和实例 本课中的图、数学公式以及解释图和数学公式的正文，将使用以下符号： 标量：小写的斜体字母，如a,b,c。 向量：小写的黑正体字母，如a,b,c。 矩阵：大写的黑正体字母，如 A,B,C。 2.2.2 神经元模型 1．单输入神经元 概念：输入、权值、偏置（值）、净输入、 传输函数、输出. 一个规范的单输入神经元如图2-1 所示。 图2-1 单输入神经元表示 ●标量输入p乘标量权值w得到wp，再将其送入累加器。 ●另一个输入1 乘上偏置值b，再将其送入累 加器。 ●累加器输出通常被称为净输入n，它被送入一个传输函数。 ●传输函数f中产生神经元的标量输出a。 若将这个简单模型和第1章所讨论的生物神经元相对照，则权值对应于突触的连接强度，细胞体对应于累加器和传输函数，神经元输出代表轴突的信号。 神经元输出按下式计算： 例如，若 ，则 注意，w和b是神经元的可调整标量参数。设计者也可选择特定的传输函数，在一些学习规则中调整参数w和b，以满足特定的需要。正如将在下一节所讨论的，依据不同目的可以选择不同的传输函数。 2．传输函数 图2-1中的传输函数可以是累加器输出（净输入）n的线性或非线性函数。可以用特定的传输函数满足神经元要解决的特定问题。 本书包括了各种不同的传输函数。下面将讨论其中最常用的三种。 ●硬极限传输函数: 硬极限传输函数如图2-2 中的左图所示，当函数的自变量小于0时，函数的输出为0 ;当函数的自变量大于或等于0时，函数的输出为1 。用该函数可以把输入分成两类。 第三、四章将广泛使用该传输函数。 硬极限传输函数 单输入hardlim神经元 图2-2 硬极限传输函数 图2-2的右图描述了使用硬极限传输函数的单输入神经元的输入/输出特征曲线。从中可看出权值和偏置值的影响。注意，两图之间的图标代表硬极限传输函数。在网络图中的这个图标表示使用了该传输函数。 ●线性传输函数： 线性传输函数的输出等于输入（如图2-3 所示）: 线性传输函数 单输入purelin神经元 图2-3 线性传输函数 ●对数-S 形传输函数： 对数-S 形（logsig）传输函数如图2-4 所示。 Log-Sigmoid 传输函数 单输入logsig神经元 图2-4 对数-S形传输函数 该传输函数的输入在（-∞，+∞）之间取值，输出则在0到1 之间取值，其数学表达为： 本书所用的大多数传输函数在表2-1中都可以找到。当然，你也可以定义不同于表2-1的传输函数。 3．多输入神经元 概念：权值矩阵： 通常，一个神经元有不止一个输入。具有R个输入的神经元如图2-5 所示。 其输入： 分别对应权值矩阵W的元素：  图2-5 多输入神经