1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. 人工智能

人工智能基础与实践第8章《循环神经网络II》.pptx

人工智能基础与实践第8章《循环神经网络II》.pptx

    ;;;

    较近的相关信息或位置间隔;

    然而在间隔不断增大时，RNN会丧失学习到连接如此远的信息的能力。

    如预测句子“IgrewupinFrance…IspeakfluentFrench”中最后一个词。

    较长的相关信息或位置间隔;

    为什么在实际应用中，RNN很难处理长距离的依赖？

    上一节关于RNN的推导中，误差项沿时间反向传播的公式为：

    联=of?diag[f(net)w

    根据下面的不等式，来获取的模的上界（模可以看作对中每一项值的大小;

    可以看到，误差项从t时刻传递到k时刻，其值的上界是#f#w的指数函数。

    当t-k很大时(也就是误差传

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >