协作学习中学习者情感状态的识别与分析.pdfVIP

摘要

随着教育模式的创新，协作学习在教学实践中已经成为一种重要学习模式，

在培养和提升学习者的沟通、合作、批判性思维、主观能动性和自主学习等各项

高阶能力上有独特的优势。相较于传统的课堂学习模式，协作学习的情境更为复

杂，协作过程中各种影响因素与协作成效的关系一直是研究的热点。其中，情感

是影响学习者协作表现的重要因素，多项研究表明学习者经历的情感状态与协作

成效有密切关系。然而，在情感是如何影响学习者的协作过程方面，仍有待进一

步的研究。

为研究情感在协作过程的作用，需要对协作过程中细粒度的情感进行识别与

分析。通过深度学习的相关方法，可以高效的处理协作过程数据，获取学习者的

情感状态标签。然而，由于协作学习情境的复杂性，常规的深度学习方法无法直

接使用在协作学习的情感任务上。一方面，协作学习中关注的情感类别与一般的

情感分析任务不同，另一方面，单模态的数据往往无法全面反应出学习者真实的

情感状态。为此，需要结合协作过程中多模态的情感特征，充分利用不同模态的

相关性和互补性来提升情感识别模型的性能。进而可以探索不同表现的学习者在

协作过程中的情感表现，通过序列分析的方法，进一步挖掘学习者情感状态演化

的典型模式，厘清情感与协作表现之间的关系。基于此，本文在真实课堂上采集

学生学习时的数据，提出一种协作学习中学习者情感识别方法来获取大量的学生

情感序列数据，对学习者情感状态影响进行分析。本文主要工作及研究内容如下：

（1）提出一种融合Wav2vec2.0特征和MFCC特征的语音情感特征提取方

法。协作学习的最大的特点是学习者不断进行交流讨论、沟通合作，语音是最为

重要的情感数据来源。本文结合Wav2vec2.0更关注于原始音频信号以及MFCC

特征针对人耳听觉特点进行模拟的优势进行互补，实现对语音数据的情感特征的

有效提取，并设计相关对比实验验证其有效性。

（2）提出一种基于交叉注意力机制的多模态数据融合的情感识别算法

MASCN（MultimodalAttention-basedSentimentClassificationNetwork）。利用协作

学习场景中能利用的语音、文本、面部表情信息，分别进行特征提取后通过本文

提出的交叉注意力特征融合模块，对多模态情感特征进行有效融合，更关注于对

情感有用的信息上，多滤掉冗余信息，提升了情感识别的准确性。并设计相关对

比实验验证了融合的有效性。

（3）从个体与群体两个角度下对协作学习中的情感状态与协作表现进行分

析。利用本文提出的MASCN对真实课堂采集的协作学习者数据进行识别得到

学习者的情感状态数据。基于小组报告评分将小组分为高、低表现组，以协作表

现为自变量，对学生的情感状态之间的差异性进行了分析。研究发现，高表现的

学习者的出现开心和困惑的情感频次要更高，同时保持积极情绪的持续时间也更

长。

（4）从个体与群体的角度对高、低协作表现学习者的情感状态序列进行分

析。使用滞后序列分析对来挖掘学习者情感状态的典型序列模式。经过研究发现，

无论在个体还是群体视角，高表现者的困惑情绪通常会转化为开心和兴奋、而低

表现组的困惑情绪通常会转化为中性和无聊。反映了高、低协作表现组在面对问

题时的差异性。

本文以真实课堂的协作学习者为研究对象，提出了MASCN情感识别算法作

为工具，挖掘并整理大量的学习者情感数据。对协作学习中学习者的情感状态与

表现进行研究，厘清情感与协作表现之间存在的关系，为干预和引导学生的协作

过程提供帮助。

关键词：协作学习；多模态数据融合；情感识别；情感状态分析

Abstract

Aseducationalmodelsinnovate,collaborativelearninghasbecomeasignificant

learningmodeinteachingpractice,uniquelyadvantagedincultivatingandenhancing

learnershigh-orderabilitiessuchascommunication,cooperation,criticalthinking,

agency,andself-directedlea