人工神经网络(第1,2章).ppt

人工神经元模型 1、M-P模型 1943年ANN起始年代，Warren Mcculloch 和Walter Pitts提出的第一个模型，简称M-P模型。 M-P模型的数学表达式： ——第i个神经元接收到的第j个神经元送入的信号（二值量） —— 突触强度（第j个神经元与第i个神经元连接的权值）固定值 ——第i个神经元的阈值 净输入： 如果考虑输入至输出的延时作用（动态），表达式可修正为： 以上M-P模型只允许在二进制状态离散时间下操作，并且假设权值和阈值固定不变。因此，它是最古老的神经元模型。 2、通用的神经元模型 1 一个静态的神经元模型 3、常用的功能函数 （1）线性函数 (3) s函数（又称sigmoid函数） (2)硬限幅函数（包括符号函数） 注： 是单调上升函数，而且必须是有界函数。因为细胞传递的信号不可能是无限增加，必有最大值。 § 1、5 人工神经网络的基本结构、工作方式、学习（训练）及它的基本功能 一、网络的基本结构 1、单层前向网络 a、对第i个神经元而言 b、对整个网络而言 2、多层前向网络（由单层级联而成） 注1：构成多层网络时，各层间的功能函数 应是非 线性的，否则再多层的功能只能相当于一层。 设：两层网络，功能函数 是线性的。 将阈值放入X中， 3、反馈网络 注2：前向网络主要是函数映射。可用于模式识别和函数逼近和分类。反馈网络按对能量函数的极小点的利用来分类。有两种：（1）主要用作各种联想存储器 （2）主要用于求解最优化问题  二、工作方式及学习（训练） 1、工作方式 主要分两个阶段： 第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改。（记忆） 第二个阶段 是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。（分类、识别、逼近、聚类、等） 2、学习（训练） （1）学习方式： （a）有监督的学习（有导师的学习）：在学习开始前，要提供由已知输入向量和应该输出变量所构成的“样本对”集——（导师）。该类学习多用为函数逼近、分类和模式识别等。 （b ）无监督的学习：学习开始前，只提供由已知输入向量所构成的“样本”集（训练集）。该类学习多用为聚类。 (2) 学习算法（学习规则） a、误差修正法或叫 规则（有导师的学习） 举例：被训练网络中的第i个神经元 Ⅰ：首先随机设置初始权重值 Ⅱ：t时刻加入样本矢量 当输入矢量第j个元素是 时， “ 导 师”期望输出为 而实际输出 产生误差为 Ⅲ： t时刻调整 的规则为： b、Hebb规则（无监督学习规则） 神经心理学家D.O.Hebb于1949年提出生物神经元学习的假设：“当某一突触（连接）两端的神经元的激活同步时（同时兴奋或同时抑制时），他们间的连接强度应增加，反之则减弱。” 假设：具有代表性的、反映环境的一组样本M个： 每个样本由N个元素构成—— 第二章 前向多层ANN § 2、1 概述 § 2、2 采用硬限幅函数时，单个神经元的分类功能 单个神经元分类对象——严格线性可分类“客体”“环境”。且只有