深度学习基础-循环神经网络.pptx

; ? 深度学习是一种利用复杂结构的多个处理层来实现对数据进行高层次抽象 的算法，是机器学习的一个重要分支。传统的BP算法仅有几层网络，需要 手工指定特征且易出现局部最优问题，而深度学习引入了概率生成模型， 可自动地从训练集提取特征，解决了手工特征考虑不周的问题，而且初始 化了神经网络权重，采用反向传播算法进行训练，与BP算法相比取得了很 好的效果。本章主要介绍了深度学习相关的概念和主流框架，重点介绍卷 积神经网络和循环神经网络的结构以及常见应用。; ? 循环神经网络是一种对序列数据建模的神经网络。 RNN不同于前向神经网络 ,它的层内、层与层之间的信息可以双向传递，更高效地存储信息，利用 更复杂的方法来更新规则，通常用于处理信息序列的任务。 RNN在自然语言 处理、图像识别、语音识别、上下文的预测、在线交易预测、实时翻译等 领域得到了大量的应用。; ? 《全世界就在那里》(外二首) ? ○小冰 ? 河水上滑过一对对盾牌和长矛 ? 她不再相信这是人们的天堂 ? 眼看着太阳落了下去 ? 这时候不必再有爱的诗句 ? 全世界就在那里 ? 早已拉下了离别的帷幕 ? 生命的颜色 ? 你双颊上的道理 ? 是人们的爱情 ? 撒向天空的一个星 ? 变幻出生命的颜色 ? 我跟着人们跳跃的心 ? 太阳也不必再为我迟疑 ?;; ? RNN主要用来处理序列数据，在传统的神经网络模型中，是从输入层到隐含 层再到输出层，每层内的节点之间无连接，循环神经网络中一个当前神经 元的输出与前面的输出也有关，网络会对前面的信息进行记忆并应用于当 前神经元的计算中，隐藏层之间的节点是有连接的，并且隐藏层的输入不 仅包含输入层的输出还包含上一时刻隐藏层的输出。理论上， RNN可以对任 意长度的序列数据进行处理。;; . RNN包含输入单元，输入集标记为xt，而输出单元的输出集则被标记为y t 。 RNN还包含隐藏单元，这些隐藏单元完成了???要工作。在某些情况下， RNN 会引导信息从输出单元返回隐藏单元，并且隐藏层内的节点可以自连也可 以互连。 RNN的基本结构可以用以下公式表示。 ?t = fw(?t?1, xt) . 其中?t表示新的目标状态，而?t?1则是前一状态， xt是当前输入向量， fw是 权重参数函数，目标值的结果与当前的输入、上一状态的结果有关系，以 此可以求出各参数的权重值。; . 一个RNN可认为是同一网络的多次重复执行 ,每一次执行的结果是下一次执行的输入。 循环神经网络展开图如右图所示。其中xt是 输入序列， st是在t时间步时隐藏状态，可 以认为是网络的记忆，计算公式为st = f(Ux t+ wst?1 ) , 其中f为非线性激活函数( 如ReLU）， U为当前输入的权重矩阵， w为 上一状态的输入的权重矩阵，可以看到当前 状态st依赖于上一状态st?1。;;;;; 在每个时间节点t = 0,1,2,3,4 神经网络的输出都会产生误 差值：E0 , E1 ，E2 ，E3 ，E4 。 与前馈神经网络类似， RNN 也使用反向传播梯度下降法 更新权重。;; 梯度爆炸 当梯度很大时，可以采用梯度截断的方法， 将梯度约束在一个范围内。; ? 长短期记忆网络能够学习长期依赖关系，并可保留误差，在沿时间和层进 行反向传递时，可以将误差保持在更加恒定的水平，让递归网络能够进行 多个时间步的学习，从而建立远距离因果联系。它在许多问题上效果非常 好，现在被广泛应用。; RNN分类： （1）输入一个输出多个， 例如输入一张图像，输出这个图像的描述信息。 （2）输入是多个，输出则是一个， 例如输入段话，输出这段话的情感。 （3）输入是多个，输出也是多个， 如机器翻译输入一段话输出也是一段话（多个词） 。 （4）多个输入和输出是同步的，例如进行字幕标记。;;;; ? 长短期记忆网络将信息存放在递归网络正常信息流之外的门控单元中，这 些单元可以存储、写入或读取信息，就像计算机内存中的数据一样。但愿 通过门的开关判定存储哪些信息，何时允许读取、写入或清除信息。这些 门是模拟的，包含输出范围全部在0～1