课堂教学学习者行为识别和面部表情识别研究.pdf

摘要

以大数据、人工智能、云计算等为代表的新一代信息技术，正推动着传统教

育向新一代信息技术赋能的智慧教育转换与发展。课堂教学作为智慧教育的重要

方面，成为当今人们关注的热点。在课堂教学活动中，学生作为学习活动的主体，

其行为状态是教学活动的直接体现。传统的课堂教学分析方法由于课堂学生众

多，教师在授课的过程中无法关注每一个学生的学习状态，对学生缺乏有效的监

管，且耗时耗力，还容易遗漏、滞后信息，难以避免主观性。因此，得益于传感

器技术的发展，使用摄像头采集学生的课堂教学数据，并结合人工智能技术研究

行为识别算法和面部表情识别算法，进而智能化识别学生的课堂行为和面部表

情，对学生学习情况动态分析、实时预警具有重要的现实意义。

本文使用摄像头采集课堂教学中学生的行为和面部表情数据，建立学生行为

数据集和面部表情数据集，并结合公开的数据集对学生行为识别方法和面部表情

识别方法进行研究，实现对课堂教学的智能化分析。具体研究工作如下：

1.学生的行为反映学习者的听课状态，但现有行为识别方法无法有效关注行

为序列中的关键信息，导致行为识别困难，本文提出融合时间注意力和

Transformer的行为识别模型。首先，模型使用时间注意力关注经过空间特征提

取层提取的特征，关注序列中对行为分类贡献大的帧；其次，使用Transformer

学习行为序列的时间信息，充分考虑帧与帧之间的语义信息，增强模型对时间特

征的提取能力。最后，在公开数据集和构建的真实学生行为数据集上和基线方法

进行对比，实验结果表明，本文模型在行为识别任务上的识别准确率优于基线方

法。

2.学生的面部表情反映其学习情绪，但现有面部表情识别方法提取的表情特

征通常与其他的面部属性混在一起，这不利于面部表情的识别，本文提出结合自

注意力特征过滤分类器和双分支GAN的面部表情识别模型。该模型使用双分支

生成对抗网络学习辨别性的表情表示，并提出自注意力特征过滤分类器作为表情

的分类模块，使用级联的LayerNorm和ReLU将低激活单元归零并保留高激活

单元，生成多级特征，使用自注意力融合输出多级特征的预测结果，在一定程度

上消除噪声对识别结果的影响；提出基于滑动模块的双重图像一致性损失监督模

型学习具有辨别性的表情表示，该损失使用滑动窗口计算重构损失，更加关注细

节信息。在公开数据集和构建的真实学生表情数据集上和基线方法进行对比，实

I

验结果表明，本文模型在面部表情识别任务上的识别准确率优于基线方法。

关键词：课堂教学；学习者；行为识别；面部表情识别；时间注意力；Transformer；

时间信息；双分支生成对抗网络；自注意力特征过滤分类器；滑动模块

II

课堂教学学习者行为识别和面部表情识别研究

目录

摘要I

AbstractIII

目录V

1绪论1

1.1研究背景及意义1

1.2国内外研究现状2

1.2.1行为识别研究现状2

1.2.2面部表情识别研究现状4

1.3论文主要研究工作6

1.4论文的组织结构6

1.5本章小结7

2理论基础与相关技术介绍8

2.1行为识别8

2.2面部表情识别8

2.2.1情绪与表情分类8

2.2.2面部表情识别的流程9

2.3卷积神经网络11

2.4生成对抗网络13

2.5注意力机制与Transformer13

2.6本文实验模型评价指标15

2.7本章小结15

3融合时间注意力和Transformer的行为识别研究及课堂教学应用研究16

3.1模型总体网络结构16

3.2时间注意力层