2011神经网基本要点回顾.docVIP

第1章 1.人工神经网络（Artificial Neural Network，ANN），是由大量处理单元（神经元）互联而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特性。P1 2.神经元模型应具备三个要素：P7-P8。 3.常用的激励函数有以下三种：（1）阈值函数（阶跃函数、符号函数等）；（2）分段线性函数（饱和型函数）；（3）Sigmoid函数；（4）对称的Sigmoid函数（双曲型函数）；（5）高斯函数。P8 激励函数采用阶跃函数的人工神经元模型即为MP（McCulloch-Pitts）模型。 4.人工神经网络的分类：（1）按网络性能角度可分为连续型与离散型网络、确定性与随机性网络；（2）按网络结构角度可分为前向网络与反馈网络；（3）从学习方式角度可分为有导师学习网络与无导师学习网络。P10 5.神经网络的学习也称为训练，指的是通过神经网络所在环境的刺激作用调整神经网络自由参数，使神经网络以一种新的方式对外部环境做出反应的一个过程。能够从环境中学习和在学习中提高自身性能是神经网络的最有意义的性质。 6.学习方式可分为：有导师学习和无导师学习。（1）有导师学习，又称为有监督学习，在学习时需要给出导师信号或称为期望输出。（2）无导师学习，包括强化学习与无监督学习（或称自组织学习）。P13 7.神经网络学习规则有：Hebb学习、纠错学习、基于记忆的学习、随机学习、竞争学习等。P13-P14 8.人工神经网络的计算能力有三个显著的特点：（1）非线性特性；（2）大量的并行分布结构；（3）学习和归纳能力。P16 9.一个人工智能系统有三个关键部分：表示、推理和学习。P19 机器学习包括两种截然不同的信息处理方向：归纳和演绎。 第2章 1.感知器是神经网络用来进行模式识别的一种最简单模型，但是由单个神经元组成的单层感知器只能用来实现线性可分的两类模式的识别。它与MP模型的不同之处是假定神经元的突触权值是可变的，这样就可以进行学习。感知器模型包含了自组织、自学习的思想。P23 2.单层感知器通常采用纠错学习规则的学习算法。P25 3.感知器算例1： 某单计算节点感知器有3个输入。给定3对训练样本对如下： X1 -1，1，-2，0 T d1 -1 X2 -1，0，1.5，-0.5 T d2 -1 X3 -1，-1，1，0.5 T d3 1 设初始权向量W 0 0.5, 1, -1, 0 T，η 0.1。注意，输入向量中第一个分量x0恒等于-1，权向量中第一个分量为阈值，试训练该感知器。 解：第一步 输入X1，得 WT 0 X1 0.5,1,-1,0 -1,1,-2,0 T 2.5 o1 0 sgn 2.5 1 W 1 W 0 +η[d1- o1 0 ] X1 0.5,1,-1,0 T+0.1 -1-1 -1,1,-2,0 T 0.7,0.8,-0.6,0 T 第二步 输入X2，得 WT 1 X2 0.7,0.8,-0.6,0 -1,0,1.5,-0.5 T -1.6 o2 1 sgn -1.6 -1 W 2 W 1 +η[d2- o2 1 ] X2 0.7,0.8,-0.6,0 T+0.1[-1- -1 ] -1,0,1.5,-0.5 T 0.7,0.8,-0.6,0 T 由于d2 o2 1 ，所以W 2 W 1 。 第三步 输入X3，得 WT 2 X3 0.7,0.8,-0.6,0 -1,-1,1,0.5 T -2.1 O3 2 sgn -2.1 -1 W 3 W 2 +η[d3- o3 2 ] X3 0.7,0.8,-0.6,0 T+0.1[1- -1 ] -1,-1,1,0.5 T 0.5,0.6,-0.4,0.1 T 第四步 返回到第一步，继续训练直到dp- op 0，p 1,2,3。 4. 感知器算例2：P35 5.单层感知器的局限：只能解决线性可分问题，而大量的分类问题是线性不可分的。解决的两种基本办法：（1）在输入层与输出层之间加上隐含层作为输入模式的“内部表示”，将单层感知器变成多层感知器。（2）采用非线性连续函数作为转移函数，使区域边界线的基本线素由直线变成曲线，从而使整个边界线变成连续光滑的曲线。（简答） 6.自适应线性元件的学习算法采用LMS算法（感知器和自适应线性元件都是基于纠错学习规则的学习算法）。单个神经元只能实现线性可分函数。用自适应线性元件实现非线性可分函数的方法有两种：（1）对神经元施加非线性输入函数；（2）采用由多个自适应线性元件和AND逻辑器件构成的MADALINES网络。 自适应线性元件原理图： 第3章 1.多层感知器（MLP）也称为多层前向神经网络，它由输入层、隐含层（一层或多层）、输出层构成。输入层神经