CN110399844B 一种应用于跨平台的人脸关键点识别与追踪方法及系统 （南京图玩智能科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN110399844B(45)授权公告日2025.07.04

(21)申请号201910688610.8

(22)申请日2019.07.29

(65)同一申请的已公布的文献号申请公布号CN110399844A

(43)申请公布日2019.11.01

(73)专利权人南京图玩智能科技有限公司

地址210000江苏省南京市雨花台区宁双

路19号云密城K栋7楼718室

GO6N3/0464(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN106909888A,2017.06.30

CN108898551A,2018.11.27

KaipengZhang等.JointFaceDetectionandAlignmentUsingMultitaskCascaded

ConvolutionalNetworks.《IEEESIGNAL

PROCESSINGLETTERS》.2016,第II、III章节.

(72)发明人史凯汪俊吴剑骄审查员章鹏

(74)专利代理机构南京禾易知识产权代理有限公司32320

专利代理师党高峰

(51)Int.CI.

GO6V40/16(2022.01)

GO6V10/82(2022.01)权利要求书2页说明书6页附图4页

(54)发明名称

一种应用于跨平台的人脸关键点识别与追踪方法及系统

(57)摘要

CN110399844B本发明涉及一种应用于跨平台的人脸关键点识别与追踪方法及系统，其中方法步骤包括：首先收集人脸图像，标记每张人脸图像的关键点，制作人脸图像训练样本集；基于多任务卷积神经网络算法，训练得到多任务卷积神经网络模型；采集人脸图像并对人脸图像预处理，载入多任务卷积神经网络模型，读取当前帧图像并同步获取人脸区域及对应人脸关键点位置信息；采用第一帧人脸图像的关键点信息作为当前帧输入，通过多任务卷积神经网络模型计算当前帧的人脸关键点信息，并判定当前帧人脸图像关键点是否处于追踪成功的状态；最后累计追踪预计数量的人脸关键点信息后，通过预先训练的人脸偏转

CN110399844B

载入训练模型文件

载入训练模型文件

读入当前视频帧图像

否

是否需要检测人脸

图像修复与预处理是否成功追踪

人脸区域检测与关键

点识人脸区域和关罐点迫

人脸数据筛选去冗

人临关结品是西对产

人脸关键点鲁棒性强化

人脸关键点扩展演算

人脸信息计算

CN110399844B权利要求书1/2页

2

1.一种应用于跨平台的人脸关键点识别与追踪方法，其特征在于，包括如下步骤：

步骤一，收集人脸图像，标记每张人脸图像的关键点，制作人脸图像训练样本集；

步骤二，基于多任务卷积神经网络算法，对每张图像进行人脸区域检测并识别人脸关键点的训练，得到训练好的多任务卷积神经网络模型；在多任务卷积神经网络模型训练前，加入线性SVM算法将人脸关键点与人脸是否对齐的判定标准以文件格式存储在模型中，当进行人脸关键点追踪时，用于判定当前帧是否追踪成功；

步骤三，采集人脸图像并对人脸图像预处理，载入多任务卷积神经网络模型，读取当前帧图像并同步获取人脸区域及对应人脸关键点位置信息；

步骤四，采用第一帧人脸图像的关键点信息作为当前帧输入，通过多任务卷积神经网络模型计算当前帧的人脸关键点信息，并判定当前帧人脸图像关键点是否处于追踪成功的状态，在识别当前帧人脸图像关键点后进行分层化卡尔曼滤波算法对人脸关键点进行鲁棒性强化处理，鲁棒性强化处理后，再通过SVM支持向量机方法判定当前帧人脸图像关键点是否处于追踪成功的状态；采用分层化卡尔曼滤波算法对人脸关键点进行鲁棒性强化处理的具体方法为：将人脸关键点分为人脸外轮廓0-16号点和人脸内轮廓17-67号点，人脸外轮廓利用2个分别m,n倍于人脸形状大小的内存空间存储跟踪成功的最近m,n帧人脸形状坐标，设置起始标志位，其中，1≤nm≤100;利用存储