【模式识别与人工智能】29-第四章-第六节-神经网络-深度神经网络1.pptxVIP

第四章神经网络-深度神经网络1汇报人：刘宝伟模式识别与人工智能授课教师：栾声扬

RNN1CONTENTSLSTM2GRU3Transformer4

PART01RNN

第六节深度神经网络14.6.1RNN循环神经网络（RecurrentNeuralNetwork，RNN）是从19世纪80年代慢慢发展起来的，与CNN对比，RNN内部有循环结构。RNN是一类可以预测未来的网络，它们可以分析并处理时间序列数据，而不是像我们到目前为止考虑的所有网络一样，用于固定大小的输入。例如，RNN可以将句子、文档或音频样本作为输入，使其对于自然语言处理应用非常有用，比如自动翻译或语言转文本。

第六节深度神经网络1循环神经网络看起来非常像前馈神经网络，除了它还具有指向反向的连接。如图所示为最简单的RNN，它由一个神经元接受输入，产生输出并将该输出送回自身组成。图1最简单的RNN4.6.1RNN

第六节深度神经网络1单个循环层每个循环神经元都有两组权重，一组用于输入，另一组用于前一个时间步长的输出。我们称这些权重向量为和。如果考虑整个循环层而不是仅仅一个循环神经元，则我们可以将所有权重向量放在两个权重矩阵和，这样可以计算整个循环层的输出向量。单个实例的循环层的输出为4.6.1RNN

第六节深度神经网络1RNN结构图循环神经网