适用于嵌入式的高性能口罩人脸识别的技术研究.pdf

摘要

作为机器视觉任务中最为基础的人脸识别，已经普及到生活的方方面面。在军

事领域、公共安全领域、公共交通领域、银行金融领域和生活服务领域都有非常重

要的应用价值。基于以往应用场景的限制，这些人脸识别的研究大多是针对通用标

准人脸的，在口罩人脸识别应用场景下会出现大幅度的精度下降乃至完全失去识

别作用。随着新冠疫情的全球爆发，原有的应用场景被打破，为解决在进出这些地

方摘下口罩所带来的安全隐患，需要能够适用与嵌入式设备的口罩人脸识别模型，

所以本文针对该视觉任务进行研究。本文主要的创新与工作量可以归纳为以下几

点：

1.在缺乏口罩人脸数据集作为研究对象的情况下，结合数据集的需求体量，

通过对各个数据采集方法的优劣进行分析比对，最终采用了人工生成数据集的方

式。在原有的大体量标准人脸数据集的基础之上，结合人脸关键点检测、人脸对齐、

人脸姿态评估、图片拼接技术和3D人脸重构技术得到了本文研究所需的口罩人脸

数据集，该数据集包含了162988类别、一共6665925张口罩人脸图片。

2.结合本文嵌入式口罩人脸识别的研究主题，通过对现有轻量化骨干网络和

强化网络学习能力方法的分析与总结，得到了几个可以用于设计具有较强特征学

习能力的轻量化骨干网络的设计准则，基于几个设计准则和本文研究数据的特征，

在现有高质量骨干网络的设计框架下，自主设计了适用于嵌入式高性能的口罩人

脸识别的轻量化骨干网络Mixnest。通过与现有轻量化骨干网络的对比实验验证了

自主设计骨干网络的有效性。

3.为了进一步加强网络学习能力，结合当前注意力机制在视觉方面的研究热

点，在现有注意力机制的研究基础之上，设计了自定义的空间注意力模块，且通过

几组对比实验验证了该注意力模块在强化有用特征学习方面的能力。

4.考虑到口罩人脸识别在嵌入式设备上快速移植的必要性，结合现有的移植

技术，设计并实现了一套基于C++的完整离线口罩人脸识别开发工具包（SDK），

并完成了相关的测试。工具包移植部署了本文的口罩人脸识别模型和人脸识别应

用开发所需的其它附属功能。为了进一步提高部署模型的性能，开发工具包涉及的

所有模型都完成了针对嵌入式移植的网络结构优化和权重量化工作。

关键词：口罩人脸数据集,口罩人脸识别,轻量化网络,注意力机制,嵌入式移植部

署

ABSTRACT

Facerecognition,themostbasicofmachinevisiontasks,hasbecomewidespreadin

allaspectsofourlives.Ithasveryimportantapplicationsinthemilitary,publicsecurity,

publictransport,bankingandfinanceandlifestyleservices.Basedonthelimitationsof

previousapplicationscenarios,mostofthesefacerecognitionstudiesareforgeneric

standardfaces,whichcansufferfromsubstantialaccuracydegradationorevencomplete

lossofrecognitioninmaskfacerecognitionapplicationscenarios.Withtheglobal

outbreakofthenewcrownepidemic,theoriginalapplicationscenariohasbeenbroken.

Inordertoaddressthesecurityrisksassociatedwithremovingmasksinandoutofthese

places,weneedfacerecognitionmodelsformasksthatcanbeappliedtoembedded

devices,sothisthesisaddres