数据智能与应用 (20).pptVIP

3.8深度学习与序列数据3.8.4卷机神经网络你好吗？语音识别机器翻译It’sasunnyday.今天天气很好基因分析ATGCCCGTACC发育相关蛋白视频分析跳舞

3.9深度学习与时序数据3.9.1循环神经网络RNN-语言模型例子预测一个句子中的人名：x：李白被誉为诗仙。y：1100000第i个样本的第t个元素第i个样本的第t个标注第i个样本的长度第i个样本标注的长度one-hot表示：向量长度为词典的大小，单词对应位置为1，其余为0

3.9深度学习与时序数据3.9.1循环神经网络RNN-语言模型例子标准神经网络模型：问题：1.每个句子的长度可能不同2.不同位置的特征无法共享

3.9深度学习与时序数据3.9.1循环神经网络RNN-RNN基本模型前向传导.…..g为激活函数

3.9深度学习与时序数据3.9.1循环神经网络RNN-语言模型例子t时刻的损失函数全样本损失函数反向梯度求解

3.9深度学习与时序数据3.9.1循环神经网络RNN-梯度消失/梯度爆炸...以第3个时刻为例

3.9深度学习与时序数据3.9.1循环神经网络RNN-梯度消失/梯度爆炸连乘导致梯度消失/梯度爆炸

3.9深度学习与时序数据3.9.2长短记忆网络LSTMRNNLSTM

3.9深度学习与时序数据3.9.2长短记忆网络LSTM贯穿始终的