chap6-循环神经网络.pptxVIP

循环神经网络《神经网络与深度学习》

参考资料《神经网络与深度学习》第6章https://nndl.github.io/网络资料AnIntroductiontoRecurrentNeural?Networks/explore-artificial-intelligence/an-introduction-to-recurrent-neural-networks-72c97bf0912RecurrentNeural?Networks/recurrent-neural-networks-d4642c9bc7ce

前馈网络连接存在层与层之间，每层的节点之间是无连接的。（无循环）输入和输出的维数都是固定的，不能任意改变。无法处理变长的序列数据。

前馈网络假设每次输入都是独立的，也就是说每次网络的输出只依赖于当前的输入。

有限状态自动机（FiniteAutomata）如何用FNN去模拟一个有限状态自动机？

图灵机一种抽象数学模型，可以用来模拟任何可计算问题。

可计算问题可计算问题函数?有限状态机图灵机前馈网络需要记忆能力通用近似定理如何给网络增加记忆能力？

延时神经网络（TimeDelayNeuralNetwork，TDNN）建立一个额外的延时单元，用来存储网络的历史信息（可以包括输入、输出、隐状态等）这样，前馈网络就具有了短期记忆的能力。如何给网络增加记忆能力？/publicationNeural_system_identification_model_of_human_sound_localization

如何给网络增加记忆能力？?

非线性自回归模型/publication/234052442_Braking_torque_control_using_reccurent_neural_networks

循环神经网络（RecurrentNeuralNetwork，RNN）循环神经网络通过使用带自反馈的神经元，能够处理任意长度的时序数据。循环神经网络比前馈神经网络更加符合生物神经网络的结构。循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上活性值状态

按时间展开

简单循环网络（SimpleRecurrentNetwork，SRN）状态更新：一个完全连接的循环网络是任何非线性动力系统的近似器。

图灵完备图灵完备（TuringCompleteness）是指一种数据操作规则，比如一种计算机编程语言，可以实现图灵机的所有功能，解决所有的可计算问题。一个完全连接的循环神经网络可以近似解决所有的可计算问题。

循环神经网络作用输入-输出映射机器学习模型（本节主要关注这种情况）存储器联想记忆模型

应用到机器学习

应用到机器学习序列到类别同步的序列到序列模式异步的序列到序列模式

应用到机器学习序列到类别

序列到类别情感分类…我觉太得好了正面中性负面带着愉悦的心情看了这部电影这部电影太糟了这部电影很棒Positive(正面)Negative(负面)Positive(正面)…

应用到机器学习同步的序列到序列模式

同步的序列到序列模式中文分词他说实的在理确SSESBEB

同步的序列到序列模式信息抽取(InformationExtraction，IE)从无结构的文本中抽取结构化的信息，形成知识小米创始人雷军表示，该公司2015年营收达到780亿元人民币，较2014年的743亿元人民币增长了5%。

同步的序列到序列模式ConnectionistTemporalClassification(CTC)[AlexGraves,ICML’06][AlexGraves,ICML’14][Ha?imSak,Interspeech’15][JieLi,Interspeech’15][AndrewSenior,ASRU’15]好φφ棒φφφφ好φφ棒φ棒φφ“好棒”“好棒棒”语音识别

应用到机器学习异步的序列到序列模式

learning异步的序列到序列模式机器翻译machine机习器学。

参数学习机器学习给定一个训练样本(x,y)，其中x=(x1,…,xT)为长度是T的输入序列，y=(y1,…,yT)是长度为T的标签序列。时刻t的瞬时损失函数为总损失函数

梯度随时间反向传播算法δt,k为第t时刻的损失对第k步隐藏神经元的净输入zk的导数

梯度消失/爆炸梯度其中由于梯度爆炸或消失问题，实际上只能学习到短周期的依赖关系。这就是所谓的长程依赖问题。?

长程依赖问题循环神经网络在时间维度上非常深！梯度消失或梯度爆炸如何改进？梯度爆炸问题权重衰减梯度截断梯度消失问题改进模型

长程依赖问题改进方法循环边改为线性依赖关系增加非线性残差网络？

长短期记忆