多模态数据下的学习投入特征画像研究.pdfVIP

第 22 卷 第 1期 软 件 导 刊 Vol. 22 No . 1 2023 年 1月 Software Guide Jan. 2023 多模态数据下的学习投入特征画像研究 1，2 2 2 2 2 2 3 吴彦文 ，邵风华 ，葛 迪 ，韩 园 ，熊栩捷 ，陈美依 ，杜昱铭 （1. 华中师范大学 国家数字化学习工程技术研究中心；2. 华中师范大学 物理科学与技术学院，湖北 武汉 430079 ； 3. 武汉朱雀闻天科技有限公司，湖北 武汉 430000 ） 摘 要： 学习投入是教师研判学习活动的重要指标，为后续教学诊断奠定了基础。随着AI 与教学深度融合不断推 进，各种教学数据媒介日益增长，使多模态数据表征学习投入画像逐步成为教学领域的技术趋势。针对以往研究中 数据高低特征互补性不足的现状，提出一种融合文本数据与图像数据的多模态学习投入特征画像构建方法，提升了 多维学习投入的表征效果。具体的，采用transformer 模型提取文本语义特征，联合FasterRCNN 模型提取视觉特征，通 过Attention 特征融合得到不同维度学习投入的预测分类结果，最后借助可视化技术呈现学习投入画像。研究表明， 该模型有效表征了学习群体在各维度的不均衡投入状态，有助于开展教学诊断与协作分组，有效辅助教师教学诊断， 提高了协作分组活动的教学效率。 关键词： 学生画像；教学诊断；协作分组；多模态数据；学习投入特征 DOI ：10. 11907/rjdk. 222274 开放科学（资源服务）标识码（OSID ）： 中图分类号：G434 文献标识码： A 文章编号：1672-7800 （2023 ）001-0001-05 Study on Learning Engagement Feature Portrait Based on the Multi-modal Data 1，2 2 2 2 2 2 3 WU Yan-wen ， SHAO Feng-hua ， GE Di ， HAN Yuan ， XIONG Xu-jie ， CHEN Mei-yi ， DU Yu-min （1. National Engineering Research Center for E-Learning ，Central China Normal University ； 2. Department of Physical Science and Technology ，Central China Normal University ， Wuhan 430079 ，China ； 3. Wuhan Zhu Que Wen Tian Technology Co. ，Ltd ， Wuhan 430000 ，China） Abstract ： Learning engagement is an important indicator for teachers to study and judge learning activities ， which lays a foundation for subse⁃ quent teaching diagn