基于人脸表情识别在线学习情感计算研究.docVIP

基于人脸表情识别在线学习情感计算研究 　　摘 要 在线学习是实现继续学习与终身学习的有效方式。通过人脸表情识别技术对在线学习平台的学习者在学习过程中的情感进行计算与可视化处理，帮助学习者和学习平台实时掌握学习者的情感状态，在一定程度上解决了在线学习过程中学习者情感缺失问题，使在线学习平台有可能为学习者提供个性化学习支持服务。 　　关键词 在线学习；人脸表情识别；深度摄像头；个性化学习；情感计算 　　中图分类号：G652 文献标识码：B 　　文章编号：1671-489X（2017）18-0035-03 　　1 引言 　　在线学习是教育产业化发展的主要渠道，已成为远程教育、教育技术及图书馆等领域的研究热点之一[1]。随着信息化技术的快速发展，Moodle、MOOC、可汗学院、网易云课堂等在线学习平台逐渐成为莘莘学子课外求学的神器。数据显示，2010年美国注册在线学习的大学生人数比2009年多了将近100万；截至2013年，世界各国的在线注册学生人数占高等教育人数的比例已超过25%[1]。 　　近几年来，在线学习衍生出来的翻转课堂、移动学习、虚拟学习等学习方式逐渐成为研究热点。《国家中长期教育改革和发展规划纲要（2010―2020 年）》明确提出[2]：“到2020年，基本实现教育现代化，基本形成学习型社会。”在线学习作为新时代产生的学习方式，可以为学习者提供终身学习和个性化学习的学习环境，是形成学习型社会的有效途径。 　　但是由于在线学习的局限性，在线学习者经常因情感得不到有效疏通而对学习失去兴趣[3]。数据表明，情感关怀在很大程度上能够提高学习者的学习效率与兴趣[4]。 　　本文基于人脸表情识别技术的研究，设计并开发了在线学习情感计算系统，实现对在线学习者人脸表情数据的实时收集和情感状态计算，并对学习者的情感数据进行可视化处理。通过可视化数据分析发现，在线学习者的脸部表情会在一定程度上反映出其当前的学习状态。在线学习平台和教学工作人员可以根据学习者的情感数据，了解他们的学习状态和学习特点，调整教学策略，为学习者提供个性化的学习服务。 　　2 在线学习情感计算系统体系架构 　　设计开发的在线学习情感计算系统的体系架构如图1所示。此系统在学生端安装深度摄像装置，实时获取学生在线学习的情感数据，对收集到的学生情感数据进行实时分析与处理，并通过互联网将信息和数据结果实时传送给服务器；服务器根据接收到的信息和数据，将学生当前情感状态进行识别。此应用系统将在线学习者的情感识别、划分为六种常规情感类型（开心、悲伤、惊讶、害怕、生气/愤怒、中性等），并实施相对应的学习干预策略或干预措施，从而进一步提高在线学习者的学习效率，实现新一代在线学习平台的个性化学习服务目标。系统架构主要由以下几个模块构成。 　　在线学习者脸部表情数据收集及处理 学习者通过验证登录在线学习情感计算系统，摄像设备自动开启，捕获人脸表情原始数据。通过特定接口，人脸表情数据传入在线学习情感系统后台数据库，系统利用情感计算算法对这些数据进行处理并提取情感特征，从而将情感进行分类。 　　数据可视化 为了更直观地了解在线学习者的情感状态以及情感变化轨迹，本系统将情感数据进行可视化处理，学习者和在线平台管理人员能够方便地查看在线学习者的情感轨迹以及实时的情感状态，识别在线学习者的整体情感反映，并做出有效的评价与干预。 　　行为干预 在人脸表情识别的基础上，对学习者做出行为干预，以提高在线学习效率。从学习流程来看，干预措施可以分为两种：过程干预与最终干预。顾名思义，过程干预就是在学习过程中进行干预，当检测到学习者在学习过程中长时间出现悲伤等消极学习情绪时，应给予来自文字、表情或虚拟教师的鼓励；当检测到学习者处于开心等积极学习情绪时，应适时给予表扬或不作为（为避免干扰学习者专心致志地学习）。最终干预是在学习者阶段性学习结束后进行的干预，主要体现在学习策略的调整、学习资源的更替以及与来自真实世界教师或其他学习者的交流与沟通等。 　　3 基于深度摄像头的人脸表情识别技术 　　在线学习系统情感数据可以多途径多渠道获得：可以通过摄像设备获取脸部表情、身体姿态，可以通过声音的分贝、高低等进行语音情感识别，或者对在线学习者发表的文本数据进行挖掘处理以提取情感因素，甚至可以依靠可穿戴设备感知学习者的心理和生理的变化来预测学习者情感的变化[5]。而研究结果表明，感情表达等于7%的言辞、38%的声音以及55%的面部表情[6]。鉴于现实生活中的推广、实用和技术性因素，本文采用基于深度摄像头的脸部表情数据，探究在线学习者的学习情感。 　　深度摄像头是一种利用时间或空间间隙实现3D立体摄像的摄像装置。相较于普通摄像头，深度摄像头可以实时获取当前人脸的色彩信息以及深度信息，从而进