多模态学习分析学习分析研究新生长点.pdfVIP

2020年第5期渊总第325期冤

DOI:10.13811/j.cnki.eer.2020.05.004理论探讨

多模态学习分析：学习分析研究新生长点

牟智佳

渊江南大学教育信息化研究中心袁江苏无锡214122冤

[摘要]多模态学习分析是多模态交互尧学习科学尧机器学习等领域交叉形成的一个新方向袁它利用多模态数据对

复杂环境下的学习行为进行分析以优化学习体验遥在空间结构上袁多模态学习分析以学习机理为核心袁以多模态交互尧

多模态感知尧多模态语义理解为技术支撑袁形成跨模态尧跨空间尧跨数据尧跨分析的独特体系遥在数据分类上袁多模态学习

分析涵盖学习体征数据尧人机交互数据尧学习资源数据和学习情境数据袁形成以学习者为中心的内外数据链相融合的数

据生态遥在分析模型上袁以传感器捕获尧语义解析尧机器学习尧反馈解释为分析过程袁以模式识别尧学习分类尧预测尧行为变

化为分析结果遥未来多模态学习分析在自动化数据采集尧跨空间分析建模尧可扩展分析工具尧学习计算尧数据隐私保护等

方面还有进一步的研究空间遥

[关键词]多模态学习分析曰多模态交互曰学习科学曰复杂学习环境曰学习行为数据

[中图分类号]G434[文献标志]A

[作者简介]牟智佳渊1987要冤袁男袁山东栖霞人遥副教授袁博士袁主要从事学习分析尧个性化学习尧信息技术与课程整合

等方面的研究遥E-mail院ambitionyt@163.co遥

的研究方向院多模态学习分析遥该方向通过采集和整

一尧学习分析组织研究的新路向

合与学习者相关的多维数据袁解释和发现内在学习过

学习分析概念自提出以来袁得到全球范围内研究程尧特征与变化袁有助于进一步改善学习体验袁这与学

者的广泛关注和持续探索遥从学习分析研究主题来习分析的宗旨一脉相承遥同时袁基于高维数据集进行

看袁学习分析研究已由初期关注学习者的行为尧活动尧多模态学习分析袁为发掘新的学习理论提供了可能性

互动尧结果等外在表现袁逐渐转变到关注学习者的情路径袁是学习科学和机器学习领域新的研究路向遥

感尧认知尧自我调控尧复杂问题解决等内在学习机理问

二尧多模态学习分析的兴起与发展

题遥从数据采集来源来看袁由初期的基于网络平台和

视频录制技术采集的学习日志尧互动文本尧学习表现渊一冤多模态学习研究的兴起及成因

等单一模态数据袁拓展为基于可穿戴设备采集的脑电多模态是多种感官的融合袁近二十年来功能语言

波尧心跳尧皮电尧移动位置等多模态数据遥各类感知设学尧会话分析尧社会符号学等学科领域都对其进行了

[1]

备和学习生理数据的可获取性作为外部因素推动了研究探索袁经过发展已演变为一种统筹化的理论遥人

学习分析数据集的发展袁而对学习发生的机理及学习工智能和机器人技术的发展进一步催生了多模态交

心理变化的教育追问则作为内部因素推动学术群体互袁它是机器人与人之间通过文字尧语音尧动作等进行

的持续探索袁此外数字化学习时代下学习数据的分布的一种交互方式遥多模态交互研究主要探讨不同的模

式特征决定了单一模态数据难以准确揭示学习规律袁态之间如何相互作用以及如何通过互补来传递和强

以上三方面的内外动力促使学习分析研究催生了新化内容与意义遥在学习情境袁使用多模态数据进行

基金项目院江苏省社会科学基金青年项目野基于教育大数据的学习风险预警与干预研究冶渊项目编号院18JYC006冤曰江苏省教育科学

野十三五冶规划2018年度重点资助课题野基于学习测评大数据的智能评价工具设计与应用研究冶渊课题编号院C-a/2018/01/07冤