人工神经网1(第1,2章).pptVIP

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
人工神经元模型 1、M-P模型1943年ANN起始年代,Warren Mcculloch 和Walter Pitts提出的第一个模型,简称M-P模型。M-P模型的数学表达式:——第i个神经元接收到的第j个神经元送入的信号(二值量)—— 突触强度(第j个神经元与第i个神经元连接的权值)固定值——第i个神经元的阈值 净输入:如果考虑输入至输出的延时作用(动态),表达式可修正为:以上M-P模型只允许在二进制状态离散时间下操作,并且假设权值和阈值固定不变。因此,它是最古老的神经元模型。 2、通用的神经元模型1 一个静态的神经元模型 3、常用的功能函数 (1)线性函数(3) s函数(又称sigmoid函数)(2)硬限幅函数(包括符号函数)注: 是单调上升函数,而且必须是有界函数。因为细胞传递的信号不可能是无限增加,必有最大值。 § 1、5 人工神经网络的基本结构、工作方式、学习(训练)及它的基本功能 一、网络的基本结构 1、单层前向网络 a、对第i个神经元而言 b、对整个网络而言2、多层前向网络(由单层级联而成)注1:构成多层网络时,各层间的功能函数应是非线性的,否则再多层的功能只能相当于一层。 设:两层网络,功能函数是线性的。 将阈值放入X中, 3、反馈网络注2:前向网络主要是函数映射。可用于模式识别和函数逼近和分类。 反馈网络按对能量函数的极小点的利用来分类。 有两种:(1)主要用作各种联想存储器(2)主要用于求解最优化问题 二、工作方式及学习(训练) 1、工作方式主要分两个阶段:第一个阶段是学习期,此时各计算单元状态不变,各连线上的权值可通过学习来修改。(记忆)第二个阶段 是工作期,此时各连接权固定,计算单元状态变化,以达到某种稳定状态。(分类、识别、逼近、聚类、等) 2、学习(训练) (1)学习方式: (a)有监督的学习(有导师的学习):在学习开始前,要提供由已知输入向量和应该输出变量所构成的“样本对”集——(导师)。该类学习多用为函数逼近、分类和模式识别等。 (b )无监督的学习:学习开始前,只提供由已知输入向量所构成的“样本”集(训练集)。该类学习多用为聚类。 (2) 学习算法(学习规则) a、误差修正法或叫 规则(有导师的学习) 举例:被训练网络中的第i个神经元Ⅰ:首先随机设置初始权重值Ⅱ:t时刻加入样本矢量当输入矢量第j个元素是时,“导 师”期望输出为而实际输出产生误差为Ⅲ: t时刻调整的规则为:b、Hebb规则(无监督学习规则) 神经心理学家D.O.Hebb于1949年提出生物神经元学习的假设:“当某一突触(连接)两端的神经元的激活同步时(同时兴奋或同时抑制时),他们间的连接强度应增加,反之则减弱。” 假设:具有代表性的、反映环境的一组样本M个: 每个样本由N个元素构成——第二章 前向多层ANN § 2、1 概述 § 2、2 采用硬限幅函数时,单个神经元的分类功能 单个神经元分类对象——严格线性可分类“客体”“环境”。且只有两类 严格线性可分的“客体”——在n维空间中的两类,总可以用某个超平面(可以不唯一)将他们严格分开。 (1)若观察向量X是二维() (2)若观察向量X是三维() 一、分类思想分隔线L:在L上方的点必定使得:在L下方的点必定使得: 1、当X(观察矢量)是上述两类时,可用单个神经元硬限幅函数分类。由于使得网络权值则此时的I=0就是分隔线L 该网络具有的功能: 2、类推:若观察矢量X是“n维”的,只要客体是线性可分的两类,总可以由一个(n-1)维超平面S:分开两类样本。使得训练后的权值满足:时:时 :二、训练网络的算法步骤 1、准备足够的多个已知类别的训练“样本对”集当当用样本对集,对神经网络进行“训练”,使网络能自动调整到具有分类功能之权值系数和阈值 2、将 归入 中去,使得N维 扩成N+1维3、设置初始权值 4、依次逐个向神经元送入训练样本对 5、调整实际输出 三、算法收敛性的证明由左图二维观察样本的证明为例,可以推及:无论X是多少维矢量,采用上述算法,只要 足够小,训练样本足够多,定能够收敛到给出正确分类结果的权值矢量。 2、4 采用硬限幅函数的前向多层ANN的分类功能 一、采用硬限幅函数的前向两层ANN的分类功能1、分类对象——可分凸集合其中蓝色花纹为可分凸集合,红色花纹为非凸集合 可分集合——若被区分的客体有M种类别,记为 属于各个类别的集合相互之间互不相交。 可分凸集合——属于各个类别的集合每个都是凸 集合,且互不相交。 2、由一个凸集合说明分类思想(1)对此凸集合R可用三条分割直线来描述,当(2)由三个神经元可以完成分类功能(3)最后的判决由第二层输出神经元完成分类功能。又3、分类算

文档评论(0)

puu81122 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档