1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. 网络资源

深度学习 课件 -第二章 全连接网络.pptx

深度学习 课件 -第二章 全连接网络.pptx

    ;;;;;;;;;sigmoid激活函数;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;将递归形式的梯度计算写成连乘形式

    如果和对所有都比较小，那么累乘之后的在较小时可能会趋于0，这称为梯度消失

    使用sigmoid做激活函数时，sigmoid对大部分输入的导数都接近于0，即使最大值也只有1/4，因此很小，故sigmoid会导致梯度消失

    梯度消失使得优化算法训练缓慢

    每一次迭代前进很小;改善

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >