结合图卷积网络的弱监督三维人脸重建方法.pdfVIP

第４２卷第１期计算机应用与软件Ｖｏｌ４２Ｎｏ．１

２０２５年１月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＪａｎ．２０２５

结合图卷积网络的弱监督三维人脸重建方法

常高祥刘大明陈宗民李冉冉梁登玉

（上海电力大学计算机科学与技术学院上海２０００９０）

摘要针对目前深度学习方法在三维人脸重建任务中存在的训练数据不足、重建纹理不够真实等问题，提出

一种弱监督混合模型。利用单幅二维人脸图像，通过密集连接卷积网络（ＤｅｎｓｅＮｅｔ）回归人脸三维形变模型

（３ＤＭＭ）系数，结合不同层级的特征差异作为弱监督信号，进而提高模型泛化能力。在此基础上使用图卷积网络

（ＧＣＮ）提取输入图像的面部细节特征来优化重建纹理。实验结果表明，该方法可以在无训练标签的数据下重建

出精细的人脸三维模型，在归一化平均误差等指标上优于现有方法。

关键词三维人脸重建弱监督密集连接卷积网络三维形变模型图卷积网络

中图分类号ＴＰ３９１文献标志码ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２５．０１．０２８

ＷＥＡＫＬＹＳＵＰＥＲＶＩＳＥＤ３ＤＦＡＣＥＲＥＣＯＮＳＴＲＵＣＴＩＯＮＭＥＴＨＯＤＣＯＭＢＩＮＥＤ

ＷＩＴＨＧＲＡＰＨＣＯＮＶＯＬＵＴＩＯＮＡＬＮＥＴＷＯＲＫ

ＣｈａｎｇＧａｏｘｉａｎｇＬｉｕＤａｍｉｎｇＣｈｅｎＺｏｎｇｍｉｎＬｉＲａｎｒａｎＬｉａｎｇＤｅｎｇｙｕ

（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｈａｎｇｈａｉＵｎｉｖｅｒｓｉｔｙｏｆＥｌｅｃｔｒｉｃＰｏｗｅｒ，Ｓｈａｎｇｈａｉ２０００９０，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＩｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｓｏｆｉｎｓｕｆｆｉｃｉｅｎｔｔｒａｉｎｉｎｇｄａｔａａｎｄｕｎｒｅａｌｔｅｘｔｕｒｅｉｎｔｈｅｃｕｒｒｅｎｔｄｅｅｐｌｅａｒｎｉｎｇ

ｍｅｔｈｏｄｓｉｎ３Ｄｆａｃｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ａｗｅａｋｓｕｐｅｒｖｉｓｅｄｈｙｂｒｉｄｍｏｄｅｌｉｓｐｒｏｐｏｓｅｄ．Ｕｓｉｎｇａｓｉｎｇｌｅｔｗｏｄｉｍｅｎｓｉｏｎａｌｆａｃｅ

ｉｍａｇｅ，ｔｈｅｆａｃｅ３Ｄｄｅｆｏｒｍａｔｉｏｎｍｏｄｅｌ（３ＤＭＭ）ｃｏｅｆｆｉｃｉｅｎｔｓｗｅｒｅｒｅｇｒｅｓｓｅｄｂｙｄｅｎｓｅｌｙｃｏｎｎｅｃｔｅｄｃｏｎｖｏｌｕｔｉｏｎｎｅｔｗｏｒｋ

（ＤｅｎｓｅＮｅｔ），ａｎｄｔｈｅｆｅａｔｕｒｅｄｉｆｆｅｒｅｎｃｅｓｏｆｄｉｆｆｅｒｅｎｔｌｅｖｅｌｓｗｅｒｅｕｓｅｄａｓｗｅａｋｓｕｐｅｒｖｉｓｉｏｎｓｉｇｎａｌｓｔｏｉｍｐｒｏｖｅｔｈｅ

ｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙｏｆｔｈｅｍｏｄｅｌ．Ｏｎｔｈｉｓｂａｓｉｓ，ｔｈｅｉｍａｇｅｃｏｎｖｏｌｕｔｉｏｎｎｅｔｗｏｒｋ（ＧＣＮ）ｗａｓｕｓｅｄｔｏｅｘｔｒａｃｔｔｈｅｆａｃｉａｌ

ｄｅｔａｉｌｆｅａｔｕｒｅｓｏｆｔｈｅｉｎｐｕｔｉｍａｇｅｔｏｏｐｔｉｍｉｚｅｔｈｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｔｅｘｔｕｒｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｉｓｍｅｔｈｏｄ

ｃａｎｒｅｃｏｎｓｔｒｕｃｔｔｈｅｆｉｎｅｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌｍｏｄｅｌｏｆｈｕｍａｎｆａｃｅｗｉｔｈｏｕｔｔｒａｉｎｉｎｇｌａｂｅｌ，ａｎｄｉｓｂｅｔｔｅｒｔｈａｎｔｈｅｅｘｉｓｔｉｎｇ

ｍｅｔｈｏｄｓｉｎｔｅｒｍｓｏｆｎｏｒｍａｌｉｚｅｄａｖｅｒａｇｅｅｒｒｏｒ．

Ｋｅｙｗｏｒｄｓ３ＤｆａｃｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎＷｅａｋｓｕｐｅｒｖｉｓｉｏｎＤｅｎｓｅｌｙｃｏｎｎｅｃｔｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋ３Ｄｍｏｒｐｈａｂｌｅ

ｍｏｄｅｌＧｒａｐｈｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋ

体技术的方法通常结合人脸３Ｄ模板，通过多个输入

０引言图像信息估计面部法线，对于光照条件和图像分辨率

大小敏感。这两种方法往往需要