基于深度学习的孤独症儿童学习情绪智能感知.docxVIP

基于深度学习的孤独症儿童学习情绪智能感知 摘要：学习情绪智能感知是学习科学的研究前沿。针对孤独症儿童情绪表达频率低、特征异常、数据集缺少和识别率低等问题，文章采用真实情景教学法，建立孤独症儿童学习情绪数据集，构建Attention-AlexNet优化模型，并将此模型与AlexNet基础模型进行情绪智能感知的对比实验，结果表明：孤独症儿童面部表情数据集具有可用性和准确性；Attention-AlexNet优化模型感知孤独症儿童情绪的准确率高于AlexNet基础模型，其对五种情绪识别的准确率由高到低依次为开心、惊讶、厌烦、生气和平静。文章推进了智能学习科学中深度学习数据集的建立和情绪智能感知的理论研究，可为孤独症儿童教育干预提供技术支撑。 学习情绪反映个体的认知心理状态，对学业行为表现具有调节效用，是诊断性评价和形成性评价的关键指标之一。近年来，国内外多项研究采用深度学习神经网络方法开展学习情绪状态的智能识别研究，情绪状态识别的准确率得以大幅度提高一文献综述本研究采用文献研究方法，梳理并分析孤独症儿童情绪识别、深度学习神经网络模型及其情绪识别应用的相关研究成果，为建立学习情绪数据集、进行情绪智能感知提供理论参考。1孤独症儿童情绪识别研究情感计算模型为孤独症儿童情绪识别提供了模型支撑。相关研究发现，与正常儿童相比，孤独症儿童在用面部表情表达情绪时存在两个方面的差异：(1)孤独症儿童难以表达后天社交性情绪，如好奇、投入、尊敬、厌烦等2深度学习神经网络模型研究深度学习（Deep Learning）由Hiton等3深度学习神经网络模型的情绪识别应用研究当前，国内外学者纷纷开展了深度学习神经网络模型的情绪识别应用研究，如魏刃佳等二孤独症儿童学习情绪数据集的建立目前，表情图像开源数据库多为外国人的表情数据库。基于以上数据集进行情绪识别研究，存在表情特征差异大、实际需求无法满足、真实情景数据缺乏等问题1数据采集被试面部表情图像的数据通过两种方式进行采集：(1)基于情绪诱导材料采集数据。故事绘本是孤独症儿童的常用学习材料，可有效引起孤独症儿童的情绪变化。因此，本实验将故事绘本作为情绪诱导材料，采集被试在聆听教师诵读故事时产生的不同面部表情。(2)基于教学视频采集数据。教学视频能够有效刺激孤独症儿童的视觉和听觉，促使其情绪的发生。因此，本实验将训练情感社交技能的教学视频和AR游戏互动视频作为学习材料，采集被试在观看教学视频时的面部表情图像，如图1所示。在数据采集过程中，本实验确保被试处于光源充足的真实学习环境，同时要求现场的两名研究人员用摄像机重点拍摄被试的面部表情，记录被试当时的面部表情和学习行为。最终，本实验共采集了时长约为460分钟的视频数据，构建的孤独症儿童学习情绪数据集（局部）如图2所示。2学习情绪标签选取对拍摄的视频数据进行分析，本研究发现在聆听故事绘本和观看教学视频的过程中，被试表现最多的有五种情绪：开心、平静、厌烦、生气和惊讶。基于此，本研究选取这五种情绪作为孤独症儿童学习情绪数据集的学习情绪标签。3数据预处理数据预处理由数据筛选、数据过滤和数据增强三个任务组成，旨在得到准确可用的学习情绪数据。三个任务的具体内容如下：(1)数据筛选。将获得的视频以每60帧为一个节点，截取被试的面部表情图片，之后调整图片的大小，将图片分辨率设置为224?224像素。本实验共采集面部表情图片7864张，但有504张由于面部被遮挡、面部图像不全、正脸偏离等原因不适合用来进行实验分析，故予以删除。(2)数据过滤。数据过滤遵循两个原则：一是对于同一张面部表情图片，如果有两名及以上研究人员判定的学习情绪标签名称相同，就将其作为有效数据予以保留；二是如果三名研究人员的判定结果各不相同，就请三人之外的研究人员另行定义，之后根据第四名研究人员的判定来确定数据是否有效——若第四名研究人员的判定结果与前三人都不相同，则放弃此条数据。经过数据过滤环节，被试的面部表情图像及其学习情绪标签的准确性、可用性均得到了保障。(3)数据增强。深度学习模型训练需要大规模的训练样本作为数据支撑三Attention-Alex Net优化模型的构建研究者发现，学习者的面部表情图像关键特征信息在空间上出现的频率不均匀，且与情绪有关的图像特征集中在面部的特定部位在Attention-Alex Net优化模型中，卷积层负责卷积操作提取特征图，池化层负责降低特征图尺寸，注意力模块负责分配权重，全连接层负责决策并输出预测结果，激活函数负责加入非线性元素。其中，注意力模块的结构如图4所示，处理过程如下：(1)将输入特征图按长宽压缩为两种一维向量数据，输入通道注意力模块，得到其输出权值；(2)通道注意力输出权