第9课 利用循环神经网络进行文本预测和分类（二）.docxVIP

PAGE6

PAGE6

PAGE5

PAGE5

课题

利用循环神经网络进行文本预测和分类（二）

课时

2课时（90min）

教学目标

知识技能目标：

（1）掌握简单循环神经网络、长短期记忆神经网络和门控循环单元神经网络的原理，以及它们在Keras中的实现方法

（2）了解简单循环神经网络存在的问题

（3）能够以多种方式显示循环神经网络训练和测试结果

素质目标：

（1）了解时代新科技，激发学习兴趣和创新思维，增强民族自信心

（2）了解我国在人工智能方向的发展现状，增强民族自信心和自豪感

教学重难点

教学重点：掌握简单循环神经网络、长短期记忆神经网络和门控循环单元神经网络的原理，以及它们在Keras中的实现方法

教学难点：能够以多种方式显示循环神经网络训练和测试结果

教学方法

案例分析法、问答法、讨论法、讲授法

教学用具

电脑、投影仪、多媒体课件、教材

教学过程

主要教学内容及步骤

课前任务

【教师】布置课前任务，和学生负责人取得联系，让其提醒同学通过文旌课堂APP或其他学习软件，完成课前任务，请大家提前预习本节课要讲的知识

【学生】完成课前任务

考勤

【教师】使用文旌课堂APP进行签到

【学生】班干部报请假人员及原因

问题导入

【教师】提出以下问题：

什么是长短期记忆神经网络？

【学生】思考、举手回答

传授新知

【教师】通过学生的回答引入要讲的知识，介绍长短期记忆神经网络、门控循环单元神经网络的相关知识

5.3长短期记忆神经网络

长短期记忆神经网络（longshort-termmemory,LSTM）是循环神经网络中较常用的一种网络，它具有长期记忆能力，可以有效地解决简单循环神经网络梯度消失或梯度爆炸问题。

5.3.1长短期记忆神经网络的原理

?【教师】通过多媒体展示“简单循环神经网络的记忆单元结构”图片（详见教材），并介绍相关知识

所有循环神经网络都是具有重复神经网络模块（也称为记忆单元）的链式结构。在简单循环神经网络中，该记忆单元（圆角矩形部分）是一种非常简单的结构，如单个Tanh层，如图所示。

?【教师】通过多媒体展示“长短期记忆神经网络的记忆单元结构”图片（详见教材），并介绍相关知识

长短期记忆神经网络也是类似的链式结构，但其记忆单元结构不同，它包含4层神经网络层，如所示。

?【教师】通过多媒体展示“记忆单元状态”图片（详见教材），并介绍相关知识

长短期记忆神经网络的关键是记忆单元状态，也称为长期记忆线，它在记忆单元上方水平贯穿，如图所示。记忆单元状态如同传送带，从头到尾沿着整个链式结构运行，其间只有很少的线性交互，数据在上面保持和更新较容易。

?【教师】通过多媒体展示“‘门’”结构”图片（详见教材），并介绍相关知识

长短期记忆神经网络引入了“门”结构来遗忘或更新数据到记忆单元状态。门是一种让数据选择性通过的方法，它包含一个Sigmoid函数和一个点乘运算。Sigmoid函数的输出值为0～1，用这个值来控制数据通过的比例，如同打开门的大小，0是关闭，不让任何数据通过；1是打开，表示全部通过，然后执行逐元素点乘，如图所示。

长短期记忆神经网络包括遗忘门（forgetgate,FG）、输入门（inputgate,IG）和输出门（outputgate,OG）。

1．遗忘门

?【教师】通过多媒体展示“遗忘门”图片（详见教材），并介绍相关知识

遗忘门决定需要遗忘记忆单元状态的哪些数据，保留哪些数据，如图所示。

遗忘门的输入数据为和，经过Sigmoid激活函数计算后，输出的是0～1的数值，决定遗忘哪些数据，0表示“完全遗忘”，1表示“完全保留”，计算公式如下。

其中，为Sigmoid函数，“·”为点乘运算，为输入数据，为遗忘门的权重，为遗忘门的偏置。

2．输入门

?【教师】通过多媒体展示“输入门”图片（详见教材），并介绍相关知识

输入门决定需要更新记忆单元状态的哪些数据，包括新增数据和需要替换的数据，如图所示。

输入门的输入数据为和，部分利用Sigmoid激活函数输出数值在0～1的特性，决定更新哪些数据，Tanh层创建新的候选值向量，计算公式如下。

其中，为Sigmoid函数，“”为点乘运算，为输入数据，为输入门的权重，为输入门的偏置，为输入门Tanh层的权重，为输入门Tanh层的偏置。

接下来将更新为，即与相乘，遗忘部分数据，再与相加，更新部分数据，计算公式如下。

3．输出门

?【教师】通过多媒体展示“输出门”图片（详见教材），并介绍相关知识

输出门决定记忆单元状态中有哪些数据输出至下一记忆单元，作为其输入数据，如图所示。

输出门的输入数据为和，部分利用Sigmoid激活函数输出的数值在0～1的特性，决定输出哪些数据，然后求的值，与部分相乘，计算公式如下。

其中，为Sigmoid函数，“