logo

您所在位置网站首页 > 海量文档  > 计算机 > 人工智能

人工智能与信息社会课件:506反向传播.pdf 11页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
特别说明: 下载前务必先预览,自己验证一下是不是你要下载的文档。
  • 内容提供方 woxiangang(上传创作收益人)
  • 发布时间:2020-08-13
  • 需要金币100(10金币=人民币1元)
  • 浏览人气
  • 下载次数
  • 收藏次数
  • 文件大小:1.66 MB
下载过该文档的会员
你可能关注的文档:
人工智能与信息社会 基于神经网络的智能系统I:反向传播 陈斌北京大学gischen@pku.edu.cn 反向传播 〉 通过多层神经网络得出的结果与实际标签的 结果作比较,得到了损失函数。 〉 根据梯度下降的方法,将当前的损失函数反 馈给之前各层的神经网络,并调整各层网络 参数的权值,这个过程称为反向传播。 北京大学地球与空间科学学院/ 陈斌/2018 结果比较 〉 对于数字2来说,未训练好的网络可能得到 如下的一个结果。 〉 我们不能直接调整输出的结果值,我们能改 的只有网络中的各个参数值。 北京大学地球与空间科学学院/ 陈斌/2018 结果比较 〉 对于这个结果,我们希望代表2的神经元的 值提高,而把其他的神经元值降低。 〉 提高和降低的程度和它现有的值成比例,提 高2的值就比降低8的值来的重要。 北京大学地球与空间科学学院/ 陈斌/2018 神经元的参数 〉 一个神经元的输入输出可以类比为一个多元 一次的线性方程。 〉 二元一次: = + +b 1 1 2 2 〉 可以通过调整w、x、b的值来调整y的值。 北京大学地球与空间科学学院/ 陈斌/2018 调整参数 〉 根据梯度大小不同,调整不同的参数对损失 函数影响不同。 梯度值:3.6 调整它的影响大 梯度值:0.1 调整它的影响小 北京大学地球与空间科学学院/ 陈斌/2018 调整系数w 〉 调整输出y的一个方法是调整系数w。 〉 前一层的神经元激活值越大,表示越有可能 “看到”某些与2相关的特征。 〉 调整激活值大的神经元的参数,影响比调整 激活值小的参数要大。 北京大学地球与空间科学学院/ 陈斌/2018 调整输入x 〉 调整输出y的另一个方法是调整输入x。 〉 增加原始参数w是正值的神经元的激活值, 减少原始参数w是负值的神经元的激活值, 增加和减少的程度与参数w大小相关。 北京大学地球与空间科学学院/ 陈斌/2018 调整输入x 〉 但我们无法直接改变每个神经元的激活值。 将每个输出需要改变的大小叠加之后,能够 得到总的改变量。 北京大学地球与空间科学学院/ 陈斌/2018 反向传播 〉 通过刚才的过程,我们实现了从最后一层到 倒数第二层的传播。 〉 这样不断层层传播回去,最后我们就能知道 该如何修改整个网络的参数。 北京大学地球与空间科学学院/ 陈斌/2018 训练结果 〉 从随机参数开始,经过梯度下降法和反向传 播训练,手写数字识别准确率从不到10%提 高到了93% 北京大学地球与空间科学学院/ 陈斌/2018

发表评论

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

“原创力文档”前称为“文档投稿赚钱网”,本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。原创力文档是网络服务平台方,若您的权利被侵害,侵权客服QQ:3005833200 电话:19940600175 欢迎举报,上传者QQ群:784321556