- 1、本文档共82页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
多层感知器 * 西安电子科技大学计算机学院 * 结论: ?当训练样本无穷多时,以均方误差最小为目 标训练的神经网络的输出在统计意义上是对 样本后验概率的最小均方误差估计。 反向传播算法 * 西安电子科技大学计算机学院 * 多层感知机的中间隐层不直接与外界连 接,其误差无法估计。 反向传播算法 ?从输入层经隐层逐层正向计算各单元的输出; ? 由输出误差逐层反向计算隐层各单元的误差, 并用此误差修正前层的权值。 反向传播算法 * 西安电子科技大学计算机学院 * 多层感知器的例子和符号 反向传播算法 * 西安电子科技大学计算机学院 * 多层感知器符号: 第 层第i个神经元的输出: Sigmoid传递函数: 反向传播算法 * 西安电子科技大学计算机学院 * 最小平方误差(Least Square)准则 平方误差: 最速下降法: 反向传播算法 * 西安电子科技大学计算机学院 * Least-Mean-Square(LMS)准则 第t步只用当前误差: 反向传播算法 * 西安电子科技大学计算机学院 * 准则的选用:通常用LMS 稳定,计算量比LS小; LMS的最优解的数学期望收敛到LS的最优解 收敛速度快 反向传播算法 * 西安电子科技大学计算机学院 * BP算法 反向传播算法 * 西安电子科技大学计算机学院 * BP算法 反向传播算法 * 西安电子科技大学计算机学院 * 的计算 LMS准则 Sigmoid函数导数 反向传播算法 * 西安电子科技大学计算机学院 * 的计算 对于输出层( ), 是当前输出与期望输出之误差对权值的导数 对中间层, 是输出误差反向传播到该层的误差对权值的导数。 反向传播算法 * 西安电子科技大学计算机学院 * 改进:如 时变,加记忆项,网络结点可剪裁,等等。 反向传播算法 * 西安电子科技大学计算机学院 * 多层感知器 * 西安电子科技大学计算机学院 * 多层感知器 * 西安电子科技大学计算机学院 * 用多层感知器网络实现模式识别 多层感知器 * 西安电子科技大学计算机学院 * 神经网络结构的选择 神经元的传递函数 ---- 通常选Sigmoid函数 网络结构 ---- 通常三层(1个隐层)即可满足常见任务需求,隐层节点数目? 连接权值 ---- 通常采用 BP算法学习 过学习(over-fitting)与欠学习(under-fitting)问题 隐层节点数目: 根据具体问题进行试探选择 据对问题的先验知识去精心地设计隐层节点的层数和节点数目 用算法来推测适当的隐层节点数目 多层感知器 * 西安电子科技大学计算机学院 * 过拟合现象: 增加隐单元个数 训练数据分类正确率 测试数据正确率提高 识别正确率与隐单元个数有很大关系! 训练数据分类正确率提高 ?? 多层感知器 * 西安电子科技大学计算机学院 * 其他类型的人工神经网络 * 西安电子科技大学计算机学院 * 其他类型神经网络: 径向基函数(RBF)网络 Hopfield网络:反馈型神经网络 自组织映射网络:竞争学习的神经网络 径向基函数网络 * 西安电子科技大学计算机学院 * 径向基函数网络 * 西安电子科技大学计算机学院 * 径向基函数网络(RBFNs)结构 径向基函数网络 * 西安电子科技大学计算机学院 * RBF网络与BP网络比较: RBF网络的输出是隐单元输出的线性加权和,学习速 度加快 ? BP网络使用sigmoid函数作为激活函数,这样使得 神经元有很大的输入可见区域 ? 径向基神经网络使用径向基函数(一般使用高斯函数) 作为激活函数,神经元输入空间区域很小,因此需要 更多的径向基神经元 径向基函数网络 * 西安电子科技大学计算机学院 * 常用高斯函数: x 为n维输入向量; c i是第 i 个基函数的中心; 是第 i 个感知的变量(可以自由选择的参数), 决定了基函数围绕中心点的宽度; m 是感知单 元的个数。 径向基函数网络 * 西安电子科技大学计算机学院 * 学习算法需要求解的参数 学习方法分类(按RBF中心选取方法不同分) 径向基函数网络 * 西安电子科技大学计算机学院 * 自组织选取中心学习方法 高斯函数作为径向基函数 径向基函数网络 * 西安电子科技大学计算机学院 * 径向基函数网络 * 西安电子科技大学计算机学院 * 网络输出 设 d 是样本的期望输出值,那么基函数的方差 可表示为: 径向基函数网络 * 西安电子科技大学计算机学院 * 自组织选取中心算法步骤 1.基于K
您可能关注的文档
- 第五章 来访者问题的评估与分析(5).doc
- 第五章 来访者问题的评估与分析(5).pdf
- 第五章 良好生产规范(GMP).pdf
- 第五章 流通时间(资本论第二卷课件-山东大学,李增刚).ppt
- 第五章 旅游市场.ppt
- 第五章 牡丹亭.ppt
- 第五章 疲劳裂纹的扩展断裂力学哈工大课件.pdf
- 第五章 企业所得税纳税申报与核算.ppt
- 第五章 区域城镇体系的基本理论.pdf
- 第五章 色谱分析法基本理论.pdf
- DB3706T 005.10-2020 无公害农产品 菠菜生产技术操作规程 .pdf
- DB3701T 24-2021 公路工程文明施工管理规范 .pdf
- DB3702T 0014-2022 农贸市场建设与管理规范 .pdf
- DB3704T 003-2020 邳庄大米绿色高效栽培技术规程.pdf
- DB3705T 01-2022 盐碱地葡萄限根栽培技术规程 .pdf
- DB3705T 1-2021 政务服务“一窗受理”工作规范 .pdf
- DB3705T 3-2022 规模化奶牛场无牛结核病小区建设规范.pdf
- DB3702T 0013-2022 会展活动碳足迹核算指南.pdf
- DB3705T 11-2022 中新白羽肉鸭配套系父母代饲养管理规范 .pdf
- DB3706T 80-2022 野生鸟类调查技术规范.pdf
文档评论(0)