神经网络与深度学习chap15序列生成模型.pptxVIP

《神经网络与深度学习》序列生成模型https://nndl.github.io/https://nndl.github.io/序列数据在深度学习的应用中，有很多数据是以序列的形式存在，比如声音、语言、视频、DNA序列或者其它的时序数据等。序列数据的潜在规律以自然语言为例，后一个句子在人脑的语义整合时需要更多的处理时间，更不符合自然语言规则。规则是什么？语言模型自然语言理解 → 一个句子的可能性/合理性！在报那猫告做只那只猫在作报告！那个人在作报告！一切都是概率!序列概率模型?给定一个序列样本，其概率为和一般的概率模型类似，序列概率模型有两个基本问题：（1）学习问题：给定一组序列数据，估计这些数据背后的概率分布；（2）生成问题：从已知的序列分布中生成新的序列样本。序列概率模型?给定一个序列样本，其概率为序列数据有两个特点：（1）样本是变长的；（2）样本空间为非常大。对于一个长度为的序列，其样本空间为。因此，我们很难用已知的概率模型来直接建模整个序列的概率。序列概率模型?序列概率 因此，序列数据的概率密度估计问题可以转换为单变量的条件概率估计问题，即给定时的条件概率。序列概率模型?序列概率 因此，序列数据的概率密度估计问题可以转换为单变量的条件概率估计问题，即给定时的条件概率。自回归生成模型在这种序列模型方式中，每一步都需要将前面的输出作为当前步的输入，是一种自回归（autoregre