基于鼠标轨迹和脑电信号的情绪识别.pdf

摘 要 情感识别是指通过提取情感数据的相关特征，从而获取能够表达人类情感的 特征数据，然后根据特征数据建模分析，找出情绪的外在身体表现与内在真实情 绪状态之间的相关性，最终识别出人们目前所处情绪类别的过程。全球正在迈步 进入人工智能的时代，而人机交互及情绪识别等领域是具有较大研究价值及意义 的。因此，本文使用深度学习算法提出了多个基于鼠标滑动轨迹的情绪识别模型。 在采集鼠标数据的同时，收集参与者的脑电波数据，并针对脑电波信号搭建网络 训练，从而增强鼠标情绪分类的可靠性和说服力，最后对二者的实验结果分别对 比分析和总结。论文具体研究内容和结果如下： （1） 本文首先设计了情绪诱导实验，通过软硬件结合的方式收集参与者在 使用电脑时的鼠标轨迹和脑电波数据，从而建立独特的数据库，经过数据清洗、 标准化等预处理操作之后，对数据进行等时长切分，得到最终的实验样本数据。 （2） 基于鼠标数据，本文利用深度学习算法设计了三个可进行情绪识别分 析的网络模型（1D-CNN-Mouse、1D-LSTM-Mouse 以及1D-CNN-LSTM-Mouse）。 然后对这几个网络分别进行训练，结果表明，三个模型在训练集上的准确率分别 为94%、93%、97%，测试集准确率为85.3%、86.4%、87.2%。其中，1D-LSTM-Mouse 相较于1D-CNN-Mouse 网络，训练集准确率有所下降，但测试集准确率上升， 网 络 泛 化 能 力 更 好 。而 CNN 和 LSTM 网 络 融 合 设 计 的 模 型 （1D-CNN-LSTM-Mouse）在训练集和测试集上准确率均为最高，能够更好的判 断出参与者的情绪状态。 （3） 针对脑 电波信 号设计两个深度 学 习模 型(1D-CNN-EEG 、 1D-CNN-LSTM-EEG)。两个网络在训练集上的识别准确率均接近 100%，在测试 集的准确率分别高达93%和96%。同时，本文尝试结合强化学习算法对脑电数 据进行情绪分类，即令 1D-CNN-EEG 和1D-CNN-LSTM-EEG模型分别与强化学 习相结合，构成两个深度Q 网络模型(1D-DQN-EEG 和1D-DRQN-EEG)。模型在 测试集上的分类准确率为91.1%、93.2%。实验结果表明，基于脑电数据的模型 基本能够正确识别出被试者的情绪状态，同时增加了鼠标轨迹实现情感识别的可 靠性。 综上所述，情绪能够反映在不同的数据中，而对于本文的实验结果来说，相 CNN LSTM 对于其它单一模型，通过结合 和 的网络有着更为明显的优势，模型 V 分类更加准确，且深度学习算法有着比强化学习算法更好的效果。本文基本实现 了基于鼠标轨迹和脑电信号的情感分类实验，实验证明通过收集鼠标轨迹判断被 试者情绪的方法是可行且有效的。 关键词：情绪识别；深度学习；强化学习；鼠标轨迹；脑电信号 VI 目 录 1 绪论1 1.1 课题研究背景及意义1 1.2 国内外研究现状2 1.2.1 基于鼠标轨迹的国内外研究2 1.2.2 基于脑电信号的国内外研究3 1.3 本文主要工作内容4 1.4 论文章节安排5 2 相关理论基础7 2.1 神经网络基础理论7 2.1.1 神经网络结构8 2.1.2 激活函数8 2.1.3 神经网络的训练11 2.2 卷积神经网络理论知识12 2.2.1 卷积操作12 2.2.2 池化操作14 2.3 长短时记忆神经网络14 2.4 强化学习16 2.4.1 基本思路17 2.4.2 理论基础17 2.4.3ϵ贪婪19 2.5 本章小结20 3 数据的采集及处理21 3.1 情绪诱导图片数据库21 3.2 情绪诱导网页问卷设计22 3.3 数据采集26 3.3.1