acWav2Lip：一种快速唇形匹配人脸语音生成模型.pdfVIP

摘要

随着人工智能生成内容的逐渐兴起和视频数据的陡增，人脸语音生成，即

将一段说话者视频和一段语音，重新合成为说话者唇形与语音同步的新视频的

技术，开始受到越来越多的关注.由于其能够大大提高视频编辑的效率以及提升

视频的观感，人脸语音生成在影视行业，电商行业和影视特效行业中备受青睐.

能够快速地被训练并用于推理是这项技术的一个非常重要的场景，因为有

些任务需要频繁地更换说话对象并保持较高生成质量，有些任务需要做到即时

生成.基于此，为了改进人脸语音生成的解决方案，本文在Wav2Lip模型的基础

上提出了一个新模型：acWav2Lip.该模型使用基于依赖图的组级别剪枝算法对

Wav2Lip模型进行剪枝，并对Wav2Lip的面部遮罩进行改进，使得acWav2Lip

的计算量大幅下降，并改善了Wav2Lip的生成像素不融洽问题.

在剪枝过程中，Wav2Lip中的SyncNet首先被剪枝，并被进行了微调.在

剪枝前对SyncNet进行了稀疏学习，以更好地评估其参数的重要性.在微调后，

剪枝后的SyncNet在参数量下降的情况下仍保持了与剪枝前相同的水平，1.5x

和2x加速比的模型较原版的验证集损失比分别为98%和10