循环神经网络简述.pptx

循环神经网络与LSTM

RecurrentneuralnetworkandLongShort-TermMemory简述

RNN简介RNN是一类以在网络中出现环为特点的网络模型，并且能存储着神经元这一时刻的输入与前一时刻输出的以来关系。前向静态神经网络虽然对非线性函数具有良好的逼近能力，但却不具动态性，所以就引入了递归神经网络——RNN。RNN相对于前向静态网络不同的就是信号从一个神经元到另一个神经元，并不会马上消失，而是继续存活。

神经网络到循环神经网络??我们知道神经网络结构如下

循环神经网络之 结构

循环神经网络与传统网络（BP神经网络、CNN等）的区别传统的神经网络（包括CNN）输入和输出都是相互独立的。例如，图像上的狗和猫是独立分割开的。而对于有些任务，后续的输出和之前的内容是相关的，例如，“我是中国人，我的母语是______”RNN引入“记忆”的概念：“循环”二字来源于其每个元素都执行相同的任务但是输出依赖于“输入”和“记忆”

RNN发展历史Hop?eldnetworksJ.Hop?elordanNetworkElmanNetwork1990J.ElmanBPTTP.WerbosHochreiterSchmidhuberLSTM1997SchusterPaliwalBRNN双向长短时记忆循环神经网络A.GravesNeuralturingmachine神经图灵机2014Cho,etalGRU门循环单元M.Jordan早期（80、90年代）主要思想：重新使用参数和计算中期（90-2010）除LSTM以外，RNN基本从主流研究中消失了。当前（2010-）应用广泛：自然语言应用视频建模，手写识别，用户意图预测StackRNN栈递归神经网络2015JoulinMikolov

RNN神经元及参数主要由5个部分组成输入网络权值和阈值求和单元传递函数输出

循环神经网络之 结构??简单来看，把序列按时间展开

Xt是时间t处的输入St是时间t处的“记忆”，St=f(UXt+WSt-1),f可以是tanh等函数Ot是时间t出的输出，比如是预测下个词的话，可能是Softmax输出的属于每个候选词的概率循环神经网络之 结构

循环神经网络之 结构细节可以把隐状态St视作“记忆体”，捕捉了之前时间点上的信息。输出Ot由当前时间及之前所有的“记忆”共同计算得到。很可惜，实际应用中，St并不能捕捉和保留之前所有信息（记忆有限）不同于CNN，这里的RNN其实整个神经网络都共享一组参数（U,V,W），极大减小了需要训练和预估的参数量图中的Ot在有些任务下是不存在的，比如文本情感分析，其实只需要最后的output结果就行

循环神经网络应用RNNs的作用词向量表达、语句合法性检查、词性标注等。在RNNs中，目前使用最广泛最成功的模型便是LSTMs(LongShort-TermMemory，长短时记忆模型)模型，该模型通常比vanillaRNNs能够更好地对长短时依赖进行表达，该模型相对于一般的RNNs，只是在隐藏层做了手脚。

循环神经网络应用语言模型与文本生成(LanguageModelingandGeneratingText)给你一个单词序列，我们需要根据前面的单词预测每一个单词的可能性。语言模型能够一个语句正确的可能性，这是机器翻译的一部分，往往可能性越大，语句越正确。另一种应用便是使用生成模型预测下一个单词的概率，从而生成新的文本根据输出概率的采样。语言模型中，典型的输入是单词序列中每个单词的词向量(如One-hotvector)，输出时预测的单词序列。语音识别(SpeechRecognition)语音识别是指给一段声波的声音信号，预测该声波对应的某种指定源语言的语句以及该语句的概率值。

循环神经网络应用机器翻译(MachineTranslation)机器翻译是将一种源语言语句变成意思相同的另一种源语言语句，如将英语语句变成同样意思的中文语句。与语言模型关键的区别在于，需要将源语言语句序列输入后，才进行输出，即输出第一个单词时，便需要从完整的输入序列中进行获取。机器翻译如下图所示：

循环神经网络应用图像描述生成(GeneratingImageDescriptions)和卷积神经网络(convolutionalNeuralNetworks,CNNs)一样，RNNs已经在对无标图像描述自动生成中得到应用。将CNNs与RNNs结合进行图像描述自动生成。这是一个非常神奇的研究与应用。该组合模型能够根据图像的特征生成描述。如下图所示：

循环神经网络应用如何训练RNNs对于RNN是的训练和对传