基于python语言的课堂抬头率检测方法研究.pdfVIP

ELECTRONICSWORLD・探索与观察

DOI:10.19353/j.cnki.dzsj.2020.03.017

基于Python语言的课堂抬头率检测方法研究

长江大学计算机科学学院钱铠伦

长江大学电子信息学院长江大学电工电子国家级实验教学示范中心谢凯姜宏屏白晓哲

随着移动互联网时代的普及，在大学课堂中随处可见“低头将剩余的候选窗口输入至下一个精细检测CNN网络中。

族”，由此带来了课堂听课效率不高的问题。这时课堂抬头率作为精细检测CNN网络相较于粗糙检测CNN网络，其网络结构更

衡量课堂听课效率以及课堂质量的重要指标就产生了。加复杂，因此对头部区域的筛选更加严格。由于粗糙检测网络后剩

对于课堂抬头率的计算，目前常用的方法是对上课学生进行人余的候选窗口仍然存在大量效果比较差的候选窗口，所以精细检测

脸检测，将检测到的人脸进行面部关键点标记，之后通过面部关键CNN网络的目的是进一步剔除这些效果差的候选窗口，并将剩余窗

点计算得出头部姿势，从而得出上课抬头率。该方法具有较大的缺口再次使用边界框回归和非极大值抑制抑制算法进一步优化预测结

陷，如当存在人脸遮挡或人脸较小时，人脸检测效果较差，存在漏果，之后将结果输入至下一个优化检测CNN网络中。

检情况，导致计算得出上课抬头率存在较大误差。本文提出了一种优化检测CNN网络相较于精细检测CNN网络更加复杂，这个

头部检测方法，巧妙地解决了人脸检测时人脸遮挡问题，提高了学网络输入的特征更多。该网络的作用与精细检测CNN网络类似，

生的检出率。另外检测到的人脸存在遮挡时，面部关键点无法准确目的是进一步剔除错误检测候选窗口，由于经过了前两个网络的检

的得出头部姿态估计，本文也提出了一种无关键点的头部姿态估计测和优化，此时剩余的头部区域候选窗口已经很少。得益于更复杂

方法，在不检测面部关键点的情况下估计头部姿态，从而提高了上的网络结构所带来得更好的检测精度，我们将该网络优化的最后结

课抬头率的检测精度。果作为头部检测结果。然后，从原图中裁剪指定头部区域并调整至

20×20像素大小输入至头部姿势估计网络中。

1抬头率检测整体方案

本文针对于课堂教室场景，通过摄像头采集课堂教室中的上课

视频，并将视频使用我们的框架进行智能分析，得出课堂抬头率。

本文提出的方案基于上课学生的头部信息，采用级联CNN网络检

测学生头部位置信息，之后通过一个无关键点检测的头部姿态估计

CNN网络进行头部姿态估计，最终分析学生头部姿态，判断是否抬

头从而计算得出课堂抬头率。其流程图如图1所示。

图2粗糙检测网络、精细检测网络和优化检测网络的网络结构图

3头部姿态估计与抬头率计算

我们使用残差网络并结合多损失方法，分别将用于头部姿态估

计的三个roll，pitch，yaw角度作为三个单独损失，最后得出头部的

姿态估计。相较于使用面部关键点的方法，本文的方法不需要检测

面部关键点，利用深度网络的优势，直接从图像强度中估计头部姿

图1抬头率检测的整体流程图态。经过头部姿态估计之后，我们根据其俯仰角判断是否为抬头。