基于YOLOV5+Conformer模型课堂智能监测系统设计研究.pdfVIP

信息记录材料２０２５年１月第２６卷第１期

＋

基于ＹＯＬＯＶ５Ｃｏｎｆｏｒｍｅｒ模型课堂智能

监测系统设计研究

陈维龙，李红玲（通信作者），周世俊，康宇暄，索熠承

（江苏师范大学科文学院人工智能与软件学院江苏徐州２２１１３２）

【摘要】随着教育信息化的快速发展，针对传统课堂监测系统存在的精准度不足、数据单一、效率低下等问题，本研究创新性地提

－

出一种高效的多模态交互智能监测系统。首先，针对现有高性能系统模型，设计对比测试方案，选用ＹＯＬＯＶ５ＢｉＦＰＮ⁃Ｓｄｅｔ（ＹＯＬＯｖ５

中Ｓ级双向特征金字塔检测模型）与Ｃｏｎｆｏｒｍｅｒ（自注意力与卷积网络融合模型）两种卓越的模型。其次，构建总体框架与系统功能模

块，保证软件设计的高品质与稳定性。最后，设计并实现直观、便捷的终端ＡＰＰ界面，优化硬件配置与软件交互体验。结果表明：该

模型的应用显著增强系统精准性、效率与鲁棒性，为教育现代化与高质量课堂教学提供坚实技术支撑，具有广泛应用价值。

【关键词】多模态融合；课堂专注力；智能监测；ＹＯＬＯＶ５；Ｃｏｎｆｏｒｍｅｒ

－－－

【中图分类号】ＴＰ３９１【文献标识码】Ａ【文章编号】１００９５６２４（２０２５）０１０１７２０４

０引言势，关注图像的局部细节，理解语音上下文信息，提升图像

［４］

教育作为社会进步的基石，正面临信息技术的深刻变识别和语音识别任务的准确性和效率；Ｃｏｎｆｏｒｍｅｒ在实

革，特别是人工智能技术的崛起，为课堂教学带来前所未现更优性能的同时，降低了对计算和存储资源的需求，提

［１］高计算效率。

有的机遇与挑战。在传统监测手段中，其主要受限于单

一评估方式，难以全面反映课堂真实情况。在此背景下，本研究利用多模态融合技术构建了融合ＹＯＬＯｖ５－

多模态模型的引入，为课堂监测带来了革命性突破。通过ＢｉＦＰＮ⁃Ｓｄｅｔ与Ｃｏｎｆｏｒｍｅｒ的课堂监测系统。通过两者模型

融合图像、声音、文本等多源信息，该模型能捕捉传统手段协同工作，全面解析视觉与语音所传达的内容，完善学生

难以触及的课堂细节，如非言语行为、互动动态等，提供精专注力和教师教学情感的监测结果。系统为教师提供双

准全面的教学反馈。本研究旨在开发基于多模态模型的向课堂监测数据，科学评估教学效果，提升教学质量与效

课堂监测智能系统，实时动态监测学生的专注力和教师的率。此应用展现了多模态交互在教育领域的潜力，也为跨

情感指数，及时为教师提供建议。领域应用开辟了新路径。

１系统模型概述２系统模型选择与制作

在人工智能技术飞速发展的当下，尖端模型不断涌２１数据集制作

现，为各领域任务提供技术支持。在计算机视觉领域当在优化人脸识别模型的细节层面，本研究采用了人脸

中，目标检测算法（ｙｏｕｏｎｌｙｌｏｏｋｏｎｃｅｖｅｒｓｉｏｎ５，ＹＯＬＯｖ５）识别数据集（含５５９０张人脸识别图像）作为核心训练资

是ＹＯＬＯ系列算法中的一个版本，ＹＯＬＯｖ５算法其速度源，以测试和提升人脸识别算法的表现。辅以７８７６张网