教学视频中教师教学行为识别与分类——基于骨架和标注信息的融合.pdfVIP

教学视频中教师教学行为识别与分类——基于骨架和标注信息的融合 摘 要 近几年人工智能高速发展，在语音识别、图像处理、自动翻译、自动驾驶等多个领 域取得了突破性进展，也为教育领域的变革注入了新的活力，国务院与教育部更是相继 发布诸多文件指出在推动教育变革过程中教学评价的重要战略地位。传统的教学评价方 法主要依赖评教专家或观察员在课堂中通过听评课的方式来完成对课堂、对教师的评 价，这种方式对评教专家自身素质、专业能力具有较高的要求，同时需要消耗大量的精 力。随着技术与时代的发展，在智慧评教阶段，基于课堂教学视频，针对与课堂教学效 果直接相关联的教师或学生的课堂行为进行描述、量化，辅助评教专家开展评教工作， 推动教学评价方法的革新成为新的探索方向。因此，对教师的课堂教学行为研究有着非 常重要的现实意义。 本文使用北京市多所中小学校的课堂教学视频作为研究数据，主要进行了以下两方 面的研究。 研究一基于OpenPose 和透视变换提取人体骨架特征，进而构建教学视频中师生分 类模型，研究不同输入特征和机器学习模型组合对师生分类效果的影响。研究发现：1、 四种输入特征（仅关键点特征、关键点特征和位置特征、关键点特征和人工特征、全特 征）和三种机器学习模型（正则化 Logistic 、随机森林、XGBoost ）的组合中，当输入 特征为全特征时，三种模型性能均达到最优；2 、XGBoost 模型在错分样本数量上相较 于正则化Logistic 和随机森林下降了69%和65%，效果提升明显；3、从各特征重要性 的角度来看，left_y （位置特征的纵坐标）、LWrist （左腕）、RWrist （右腕）、feature_1 （人工特征一：左右肩膀横坐标大小），feature_2 （人工特征二：骨架高度），feature_3 （人工特征三：骨架信息完整度）对师生分类器性能影响最大。 研究二基于教师位置、言语、板书三类特征制定教师行为识别规则，并基于HDclassif 聚类方法对教师教学特征进行分类。教师行为识别规则借助三类容易通过技术手段量化 的信息（教师位置、教师言语和教师板书）来制定，基于穷尽性与互斥性原则，将教师 行为分为9 种：边板书边讲授、边板书边提问、仅板书、讲台区讲授、讲台区提问、讲 台区观察、学生区讲授、学生区提问、学生区观察；使用行为识别规则对所有课程教师 教学行为以秒为单位进行识别并汇总行为发生频率，使用HDclassif 聚类分析教师教学 行为特征，将教师课堂行为表现分为三类：板书互动型、教室讲授型、教室互动型。 关键词：行为识别；教学评价；OpenPose ；透视变换；XGBoost I 目 录 目 录 1 绪论1 1.1 研究背景与研究意义1 1.1.1 研究背景1 1.1.2 研究意义1 1.2 研究内容及框架2 1.3 本文创新和局限性3 2 文献综述4 2.1 课堂教学评价的发展4 2.2 课堂教学行为识别研究5 2.3 2D 人体姿态估计7 2.4 单目视觉测距研究9 2.5 国内外研究现状述评9 3 方法基础 11 3.1 人体姿态估计算法——OpenPose 11 3.1.1 算法结构 11 3.1.2 关键点检测和PAFs （Part Affinity Fields ）检测12 3.1.3 多人骨架合成15 3.1.4 OpenPose 工具包15 3.2 相机成像原理与透视变换17 3.2.1 相机成像原理17 3.2.2 透视变换（Perspective Tr