多场景人机协同在线教学评价框架研究——基于层次分析法和熵权法的分析.pdfVIP

Vol.33 No. 1 2023 多场景人机协同在线教学评价框架研究* ——基于层次分析法和熵权法的分析 王辞晓 徐珺岩 郭利明 郑勤华[通讯作者] （北京师范大学 远程教育研究中心，北京 100875 ） 摘要：新一代人工智能技术促进了人机协同在线教学的发展，如何基于教师与机器的协同教学表现开展在线教 学评价是当前研究重点。文章首先梳理了当前在线教学评价方法，指出开展评价需要考虑场景异质性。接着， 文章分析了教师与机器在课前导学、课中活动、课后答疑三个环节的在线教学任务和教学表现维度，在此基础 上构建了人机协同在线教学评价框架。随后，文章对该评价框架进行了场景异质性分析，运用层次分析法和熵 权法综合得出教师与机器的教学表现对在线教学质量的影响权重。最后，文章总结了研究结论，提出：基础教 育场景中教师教学具有不可替代性，职业教育与高等教育场景中机器的整体表现更重要，各场景中教师的课中 教学表现均有较大影响。此研究结果可为开展多场景在线教学评价提供参考，并能为智能时代教师的焦虑情绪 缓解、场景角色定位提供实证依据。 关键词：在线教学评价；教师；机器；层次分析法；熵权法 【中图分类号】G40-057 【文献标识码】A 【论文编号】1009—8097 （2023）01—0074—09 【DOI 】10.3969/j.issn.1009-8097.2023.01.008 实施在线教学评价是保障在线教育质量的关键环节，然而现有评价方式多以标准化考试成 绩为指标，这种单一的评价标准不仅难以全面、准确地反映在线教学质量，还不利于提升师生 [1] 在线教与学的积极性和主动性 。2020年，中共中央、国务院印发《深化新时代教育评价改革总 体方案》，强调要“坚决克服唯分数等顽瘴痼疾”“充分利用信息技术，提高教育评价的科学性、 [2] 专业性、客观性” 。伴随着新时代教育评价改革的浪潮，在线教学评价研究成为重要的学术命 题与实践议题。而在新一代人工智能技术的推动下，人机协同在线教学已成为现实，人类教师 [3] 与智能机器能够协同进行学情分析与反馈、学习资源推荐、答疑辅导等 ，两者的教学表现也都 与在线教学质量密切相关。综合分析人类教师与智能机器的在线教学表现，正成为区别于以往 学生在线学业表现评价的一种新兴在线教学质量评价方式。此外，在线教学场景具有异质性特 点，会导致不同教育阶段教师与机器的评价侧重点存在不同。基于此，本研究面向多场景在线 教学，综合采用专家主观赋权和机器客观赋权方法，探索如何基于教师与机器的协同教学表现 开展评价，并分析不同教育阶段的评价重点，以期为开展智能时代的在线教学评价提供参考。 一 文献综述 1 当前在线教学评价方法及其局限 当前，在线教学评价主要采用主观评价和客观评价的方法，且多从学习行为、学习成绩等 “学”的角度分析在线教学质量：①在主观评价方面，主要通过问卷收集学生在线学习行为、 [4] 效果等方面的数据，进而评价相应的在线教学质量 。②在客观评价方面，研究者多结合在线学 [5] 习行为数据评价学习效果。例如，李华等 用学习成绩和发帖质量两项指标来反映在线学习效果； [6] 魏顺平 设计了包含学习投入、学习产出等维度的在线学习评价指标体系，并采用层次分析法确 定各级指标权重。此外，也有部分研究从教师“教”的角度剖析在线教学质量，如将教师在线 74 Vol.33 No. 1 2023 [7] 教学表现分为促进度、投入度、联通度、认可度和调控度 ，或关注教师行为的广度、深度和持 [8] 续度等 。尽管在线教学评价研究正逐渐转向对教师“教”的关注，但少有研究涉及对人机协同 教学中教师与机器教学表现的评价。此外，现有的在线教学评价指标体系主要由层次分析法、 德尔菲法、理论演绎法等主观方法构建，而熵权法、数据包络分析法等基于实际数据的客观方 法较少应用于评价指标体系构建。 2