一种基于智能化人机交互进行人脸图像处理的方法.pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 111428661 A (43)申请公布日 2020.07.17 (21)申请号 202010232764.9 (22)申请日 2020.03.28 (71)申请人 北京工业大学 地址 100124 北京市朝阳区平乐园100号 (72)发明人 涂山山　张玙彤　 穆罕默德 瓦卡斯　张振昊　石岩　 · 张永继　 (74)专利代理机构 北京思海天达知识产权代理 有限公司 11203 代理人 刘萍 (51)Int.Cl. G06K 9/00(2006.01) G06N 3/04(2006.01) 权利要求书2页 说明书5页 附图1页 (54)发明名称 一种基于智能化人机交互进行人脸图像处 理的方法 (57)摘要 一种基于智能化人机交互进行人脸图像处 理的方法属于人工智能领域。本发明与用户信息 相关的面部特征被分为整体面部特征、表情特征 和视觉跟踪，通过三方面的结合分析可以得到一 个三维的人脸信息。本发明将用户面部特征中的 特定动作绑定到行为信息中，并通过面部特征信 息实现人机交互，降低面部识别点选取误差。本 发明通过对捕获人脸进行面部区域分析，定位出 人脸的基本面部特征，针对眼部区域进行视觉跟 踪，将面部表情绑定行为信息以实现人机交互， 降低面部识别点选取误差，提高面部识别准确 A 率。 1 6 6 8 2 4 1 1 1 N C CN 111428661 A 权　利　要　求　书 1/2页 1.一种基于智能化人机交互进行人脸图像处理的方法，其特征在于，具体实现方法分 以下三个过程： (一)人脸点检测的方法 采用三层卷积神经网络结构，采用绝对值校正及参数共享机制来建立第一层卷积神经 网络，采用多层次回归的思想来获取二、三层卷积神经网络； 第一级网络的输入区域选取较大，以覆盖尽可能多的预测位置；第二、三级检测区域相 应缩小，检测区域的选取条件为：包含前一级网络获得的所有预测位置中的75％的预测位 置，以前一级网络的预测位置密度最高的位置点为中心的圆形区域； 在新的预测区域内重新获取预测位置，此过程重复多次至检测区域缩小至第一级检测 区域的1％时，得到的预测位置即为每个点的预测位置，进而得到每个层次的不同输入区域 的多个网络； 人脸点的最终预测位置x表示为一个n层级的级联，预测位置x的数学表示如下： 式中x即为预测位置，l 为一个n层级的级联在第i层级上的预测位置个数，第i层级上的 i 预测位置分别用 表示，即x1(1)为第1层级上的第一个预测位置，第i层级上的 第l 个预测位置 相比较于第i-1层级上相对应的第l个预测位置的改变用Δx (i)表示； i i 1 (二)面部表情识别的方法 在面部表情识别方法中，提出了一种端到端学习模型，该模型通过姿态和表情两个角 度进行人脸图像合成，并在姿态不变时进行面部表情识别；该模型的结构由一个生成器，两 个鉴别器和一个分类器组成； 在将图像传入模型之前进行预处理，将人脸检测算法应用于包含68个标志点的基础库 进行人脸检测；经过预处理后，将面部图像输入到生成器G中生成身份标识，每一个输入图 像都有一个确定且唯