基于鼠标轨迹结合人脸的用户情绪识别研究.pdfVIP

摘 要 随着计算机技术的高速发展，没有计算机人类的生活将会充满不便，人机交 互能力越高，对人类越能提供更多的便利，因此，情绪识别已经成为神经科学、 认知科学和人工智能等多个专业的重要研究课题。并且经过研究发现，网站或游 戏界面的设计对用户体验影响重大，界面设计的好坏直接影响网站或游戏用户的 情绪甚至影响用户访问量。因此通过鼠标轨迹结合人脸对鼠标用户进行情绪识别 可以让网页或游戏界面设计者更加了解用户对网页或游戏界面的满意度，以便于 他们更好地设计网站或者游戏界面，是一个比较新颖的研究方向，并且具有一定 的研究意义和商业价值。 本文在对鼠标用户进行情绪识别的国内外现状进行一定的了解之后，首先， 需要采集本文独特的数据集；其次，提出通过迁移学习分别将三种网络模型对鼠 标轨迹进行训练学习实现对鼠标用户的情绪识别并分析；接着，针对鼠标轨迹提 出一个新的网络模型进行情绪识别并与上述迁移学习网络模型的效果进行对比； 最后，针对人脸图像搭建网络模型实现情绪识别以证明通过鼠标轨迹进行情绪识 别的可行性和可信度。 主要研究内容主要如下： 一、爬取日内瓦情绪图片数据库中的积极图片集和消极图片集，设计情绪诱 导实验，同时收集同一情绪标签的鼠标轨迹图和包含实验者人脸的图像，建立本 文独特的数据集。 二、通过迁移学习分别将VGG-16、ResNet50 和MobileNet-V3-Large 这三种 网络模型对本文采集的鼠标轨迹数据集进行训练学习实现情绪识别。三种网络模 型都取得了较好的效果，VGG-16 网络模型识别准确率达到0.95，ResNet50 网络 模型识别准确率达到0.93，MobileNet-V3-Large 网络模型识别准确率达到0.97， 证明了鼠标轨迹与情绪的相关性以及鼠标轨迹识别情绪的可行性。 三、提出搭建四层卷积层网络模型对本文采集的鼠标轨迹数据集进行训练学 习实现情绪识别，识别效果达到0.95左右，对比迁移学习三种网络模型的方法， 识别效果相近，但耗时要相对短许多，因此，本节搭建的四层卷积层网络模型更 适用于鼠标轨迹识别情绪，同时也证明了基于鼠标轨迹实现情绪识别是可行的。 V 四、搭建卷积神经网络模型对本文与鼠标轨迹数据同时采集属于同种情绪标 签的人脸数据进行训练学习实现情绪识别实现情绪识别，训练准确率达到0.9左 右，验证了人脸与情绪的相关性，也间接验证了鼠标轨迹与情绪的相关性，大大 增加了基于鼠标轨迹进行情绪识别的可靠性。 关键词：情绪识别；鼠标轨迹；人脸图像；卷积神经网络；迁移学习 VI 目 录 第1章 绪论1 1.1 选题背景及研究意义1 1.2 国内外研究现状3 1.2.1 基于鼠标轨迹的情绪识别3 1.2.2 基于人脸的情绪识别5 1.3 论文结构安排7 第2 章 数据库介绍9 2.1 鼠标轨迹和人脸与情绪的相关性9 2.1.1 鼠标轨迹与情绪的相关性9 2.1.2 人脸与情绪的相关性10 2.2 数据采集11 2.2.1 情绪诱导方法11 2.2.2 数据采集12 2.3 本章小结14 第3章 基于迁移学习的鼠标轨迹情绪识别15 3.1 迁移学习15 3.1.1 迁移学习的定义15 3.1.2 迁移学习的分类15 3.2 相关网络介绍16 3.2.1VGG-1616 3.2.2ResNet5018 3.2.3MobileNet-V3-Large19 3.3 实验结果与分析22 3.3.1 数据预处理22 3.3.2 网络微调22 3.3.3 实验结果与分析24