- 1、本文档共15页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
循环神经网络与LSTM
RecurrentneuralnetworkandLongShort-TermMemory简述
RNN简介RNN是一类以在网络中出现环为特点的网络模型,并且能存储着神经元这一时刻的输入与前一时刻输出的以来关系。前向静态神经网络虽然对非线性函数具有良好的逼近能力,但却不具动态性,所以就引入了递归神经网络——RNN。RNN相对于前向静态网络不同的就是信号从一个神经元到另一个神经元,并不会马上消失,而是继续存活。
神经网络到循环神经网络??我们知道神经网络结构如下
循环神经网络之 结构
循环神经网络与传统网络(BP神经网络、CNN等)的区别传统的神经网络(包括CNN)输入和输出都是相互独立的。例如,图像上的狗和猫是独立分割开的。而对于有些任务,后续的输出和之前的内容是相关的,例如,“我是中国人,我的母语是______”RNN引入“记忆”的概念:“循环”二字来源于其每个元素都执行相同的任务但是输出依赖于“输入”和“记忆”
RNN发展历史Hop?eldnetworksJ.Hop?elordanNetworkElmanNetwork1990J.ElmanBPTTP.WerbosHochreiterSchmidhuberLSTM1997SchusterPaliwalBRNN双向长短时记忆循环神经网络A.GravesNeuralturingmachine神经图灵机2014Cho,etalGRU门循环单元M.Jordan早期(80、90年代)主要思想:重新使用参数和计算中期(90-2010)除LSTM以外,RNN基本从主流研究中消失了。当前(2010-)应用广泛:自然语言应用视频建模,手写识别,用户意图预测StackRNN栈递归神经网络2015JoulinMikolov
RNN神经元及参数主要由5个部分组成输入网络权值和阈值求和单元传递函数输出
循环神经网络之 结构??简单来看,把序列按时间展开
Xt是时间t处的输入St是时间t处的“记忆”,St=f(UXt+WSt-1),f可以是tanh等函数Ot是时间t出的输出,比如是预测下个词的话,可能是Softmax输出的属于每个候选词的概率循环神经网络之 结构
循环神经网络之 结构细节可以把隐状态St视作“记忆体”,捕捉了之前时间点上的信息。输出Ot由当前时间及之前所有的“记忆”共同计算得到。很可惜,实际应用中,St并不能捕捉和保留之前所有信息(记忆有限)不同于CNN,这里的RNN其实整个神经网络都共享一组参数(U,V,W),极大减小了需要训练和预估的参数量图中的Ot在有些任务下是不存在的,比如文本情感分析,其实只需要最后的output结果就行
循环神经网络应用RNNs的作用词向量表达、语句合法性检查、词性标注等。在RNNs中,目前使用最广泛最成功的模型便是LSTMs(LongShort-TermMemory,长短时记忆模型)模型,该模型通常比vanillaRNNs能够更好地对长短时依赖进行表达,该模型相对于一般的RNNs,只是在隐藏层做了手脚。
循环神经网络应用语言模型与文本生成(LanguageModelingandGeneratingText)给你一个单词序列,我们需要根据前面的单词预测每一个单词的可能性。语言模型能够一个语句正确的可能性,这是机器翻译的一部分,往往可能性越大,语句越正确。另一种应用便是使用生成模型预测下一个单词的概率,从而生成新的文本根据输出概率的采样。语言模型中,典型的输入是单词序列中每个单词的词向量(如One-hotvector),输出时预测的单词序列。语音识别(SpeechRecognition)语音识别是指给一段声波的声音信号,预测该声波对应的某种指定源语言的语句以及该语句的概率值。
循环神经网络应用机器翻译(MachineTranslation)机器翻译是将一种源语言语句变成意思相同的另一种源语言语句,如将英语语句变成同样意思的中文语句。与语言模型关键的区别在于,需要将源语言语句序列输入后,才进行输出,即输出第一个单词时,便需要从完整的输入序列中进行获取。机器翻译如下图所示:
循环神经网络应用图像描述生成(GeneratingImageDescriptions)和卷积神经网络(convolutionalNeuralNetworks,CNNs)一样,RNNs已经在对无标图像描述自动生成中得到应用。将CNNs与RNNs结合进行图像描述自动生成。这是一个非常神奇的研究与应用。该组合模型能够根据图像的特征生成描述。如下图所示:
循环神经网络应用如何训练RNNs对于RNN是的训练和对传
您可能关注的文档
最近下载
- 新人教部编版小学二年级上册数学全册课时练习题.pdf
- 统编版语文四年级上册习作:写观察日记《绿豆芽生长记》(课件).pptx
- 英威腾 Goodrive300_01A_EH系列高速电机专用变频器说明书_V1.0.pdf
- 西师大版数学四年级上册全册表格式教案.pdf VIP
- 第18章 电功率难 难题练习 2021年初中物理培优(重点高中自主招生 竞赛).docx
- 《流行声乐演唱》课件——2“会听、会唱、会分析”.pptx VIP
- 公安局报警定位系统方案.pdf VIP
- 《铁路基桩检测管理信息系统数据接口暂行规定》(附条文及目录).pdf
- QB_T 2584-2023轻工标准 淋浴房.pdf
- 水轮发电机组发电机检修规程.doc
文档评论(0)