基于深度学习的人脸表情识别研究及应用.pdfVIP

中文摘要 摘 要 在人类日常沟通交流中，通过表情传达的信息占据全部信息的一半以上，人 脸表情可以反映出人的情绪和状态。人脸情绪识别是计算机视觉领域重要研究方 向之一，包括虚拟现实、增强现实、交互机器人以及交通安全领域需要人脸情绪 识别技术来改善应用的性能，提升应用体验。 随着人脸表情识别研究的不断发展，从研究少量的实验室制作的人脸表情研 究，到研究基于海量数据的现实场景下的人脸表情研究，研究人脸表情识别的方 法也由传统的图像处理的方法转变为深度学习方法，其中CNN （卷积神经网络） 极大地推动了人脸表情识别的发展。尽管近些年提出了很多人脸表情识别的方法， 但是已有研究主要基于少量的实验室制作的人脸表情数据集，这并不能满足对现 实场景下人脸表情识别的需求。在解决复杂的现实场景下的人脸表情识别问题时， 与传统的基于浅层特征或手工特征的人脸表情识别技术相比，深度学习可以学习 到更高层次的特征信息，具有更强的准确性和鲁棒性。因此，基于深度学习对海 量现实场景下人脸表情数据进行研究是必要的。此外，大多数人脸表情识别研究 都是分为多阶段的，因此提出一个端到端的人脸表情识别算法是极具有创新性的。 本文通过对人脸表情数据集AffectNet 进行研究，基于YOLOv3 目标检测模型 结合人脸表情识别任务的特点提出深度人脸表情识别模型，并且基于深度人脸表 情识别模型，提出、设计、开发驾驶员情绪实时监测系统。本文所做主要工作体 现在以下几个方面： ① 本文基于现实场景下最大的人脸表情数据库 AffectNet 进行研究，采用了 图像处理技术（图像随即裁剪、图像随机旋转、图像颜色抖动和图像高斯噪声等） 对数据集进行处理，得到符合条件的训练数据。 ② 本文基于深度目标检测模型YOLOv3 的研究和改进，提出一个端到端的深 度人脸情绪识别算法。同时结合人脸表情识别任务的特点，对学习的目标进行调 整，使得在AffectNet 数据集取得较好的识别准确率，此外识别速度可以达到33fps 。 ③ 针对驾驶员情绪会影响其驾驶行为的问题，本文设计、开发基于深度学习 的驾驶员情绪实时监测系统，基于本文提出的人脸情绪识别模型，根据特定场景 定制化模型，并通过Tensorflow lite 框架将模型转换、压缩集成到移动端应用。同 时采用Websocket 、WebRTC 等技术与管理后台保持实时通信，保证了系统的实时 性和有效性。使得本文提出的深度人脸情绪识别算法得到应用验证。 关键词：人脸情绪识别；深度学习；目标检测；卷积神经网络；移动端 I 英文摘要 Abstract In human daily communication, more than half of all information is conveyed by facial expressions, which reflect peoples moods and states. Face expression recognition is one of the important research directions in the field of computer vision, including virtual reality, augmented reality, interactive robots and traffic safety. Face expression recognition technology is needed to improve application performance and enhance application experience. With the continuous development of facial expression recognition research, from the study of a small number of fac