用于操作者状态估计的卷积神经网络情感识别和眨眼特征分析.docx

Oleg Korsun et al. / Procedia Computer Science 186 (2021) 293–298 PAGE 298 Oleg Korsun et al. / Procedia Computer Science 186 (2021) 293–298 用于操作者状态估计的卷积神经网络情感识别和眨眼特征分析 摘要 本文讨论算子状态估计问题[1]。为此，提出了基于使用深度卷积神经网络的各种方法[2，3]。最详细地考虑了使用自动情感识别方法和眨眼特征分析的方法。正在对情绪状态和注意力集中进行广泛的研究。在训练好的神经网络上，进行了一个估计操作员状态的实验。在实验期间，处理了操作员在飞行模拟器[4]上执行飞行任务期间接收到的11个操作员面部视频记录。在飞行员正常状态下，观察到两种情绪——悲伤和中性状态。需要注意的是，操作者打哈欠和闭上眼睛被归类为惊讶或恐惧。值得注意的是，经营者的情感背景是不同的。当选择确定疲劳的参数时，需要单独的方法。实验也正在进行，以确定眨眼参数和驾驶准确性特征之间的相关性。研究还表明，由于对新信息的感知和注意力的集中，操作者眨眼的频率会降低。 关键词:经营者状态；情感；眨眼；卷积神经网络 1。 介绍 研究了基于人脸视频图像的自动情感识别。对于深度卷积神经网络训练，选择了FER-2013 [5]数据集。该数据库由35887幅48×48的单色图像组成 像素大小，有7种情绪(愤怒、厌恶、恐惧、喜悦、悲伤、惊讶和中性状态)； 卷积神经网络也用于确定眨眼，然后分析眨眼参数，主要是眨眼的持续时间和平均频率。 飞行模拟器被处理。11个视频片段的一般持续时间约为5小时。 2。 实验结果 2.1。 从面部表情检测情绪状态 在驾驶期间的正常状态下，观察到2种情绪——悲伤和中性状态。有趣的是，操作者打哈欠和闭上眼睛被归类为惊讶或恐惧。心理学家将疲劳定义为抑制、欲望迟钝、耳聋的感觉[6]。和恐惧一样，疲劳是为了停止做某事，如果你不改变活动，操作员将进入睡眠状态。在图1中。图1和2。2、情绪数量的上升“悲伤”和“恐惧”对抗记录数量被解释为操作员疲劳的积累。在图1中。1(b)和图。2(b)红色标记对应于编号为1-11的第一系列手动着陆，蓝色标记对应于编号为12-22的第二系列.在该系列中，手动着陆没有中断，疲劳累积。在两个系列之间的30分钟暂停期间，操作员休息了一会儿。暂停刷新操作符状态和序列基本相同，如叠加图所示。 图。1.(a)情绪“悲伤”数与记录数1-22的关系图；(b)叠加1-11和12-22记录号 图。2.(a)情绪“恐惧”数与记录数1-22的关系图；(b)叠加1-11和12-22记录号 295 需要注意的是，经营者的情感背景不同。因此，在选择确定疲劳的参数时，应采用单独的方法。可以看出，如果使用类别“悲伤”和“恐惧”来确定一个操作者的疲劳(图。图1和2。2)，那么对“愤怒状态”类别的分析是确定另一个人疲劳的最佳选择(图。3). 在这种情况下，手动着陆是在一个系列中进行的，在两种情况之间没有间断。 图。3.情绪“愤怒”数与记录数的关系图 2.2。 眨眼特征分析 为了检测眨眼，开发了专门的软件，也是基于深度卷积神经网络。借助摄像机的а理性定位，软件可以准确检测眨眼，识别眼睛的状态——睁开眼睛的状态和闭上眼睛的状态(图。4). 开发的软件将操作员的眼睛状态记录在一个文件中，其中包含飞行数据，以便进行更深入的分析。 图。4.用于确定操作者眨眼的神经网络算法:(a)睁开眼睛的状态；(b)闭眼状态 对于正常运行的操作员，眨眼频率为每分钟14-18次眨眼，眨眼持续时间平均为157毫秒(图。5). 图。5.安静工作时闪烁的输出波形 在飞行模拟器(手动着陆)的艰苦工作中，眨眼频率降低到每分钟5-8次。眨眼变快(58毫秒)。这是因为需要持续监控模拟器指示器上显示的飞行参数(图。6). 图。6.操作员着陆时闪烁的输出波形 实验揭示了眨眼参数和驾驶准确性特征之间的相关性。图7、8显示了相对于垂直坐标标准偏差的闪烁次数。随着更好的驾驶准确性，记录到更多的操作员眨眼次数，这对应于正常运行。标准差的增加意味着情况正在失控，这需要更多的努力来恢复常态。 297 图。7.闪烁次数相对于垂直坐标标准偏差的曲线图 图。8.闪烁次数相对于垂直坐标标准偏差的曲线图 3。 结论 研究表明，操作员疲劳程度和神经网络识别的情绪状态数量之间存在稳定的关系。情绪的类型取决于特定的操作员。此外，还揭示了驾驶精度和眨眼参数之间的关系。还应注意，用于评估操作员功能状态的技术是非接触式的。这是一个很大的优势，因为不需要在操作员的身体上安装额外的传感器。 承认 这项工作得到了俄罗斯基础研