CN113160035B 一种基于姿态引导、风格和形状特征约束的人体图像生成方法 （浙江工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113160035B(45)授权公告日2025.07.08

(21)申请号202110413125.7

(22)申请日2021.04.16

(65)同一申请的已公布的文献号申请公布号CN113160035A

(43)申请公布日2021.07.23

(73)专利权人浙江工业大学

地址310014浙江省杭州市下城区潮王路

18号

GO6T7/11(2017.01)

GO6N3/0464(2023.01)

GO6N3/0455(2023.01)

GO6N3/0475(2023.01)GO6N3/094(2023.01)

(56)对比文件

CN111402118A,2020.07.10

审查员王小龙

(72)发明人卢书芳

陶相艳

卢富男

高飞

朱翔寿旭峰

(74)专利代理机构杭州天勤知识产权代理有限

公司33224专利代理师彭剑

(51)Int.CI.

GO6T3/04(2024.01)权利要求书2页说明书4页附图2页

(54)发明名称

一种基于姿态引导、风格和形状特征约束的人体图像生成方法

(57)摘要

CN113160035B本发明公开了一种基于姿态引导、风格和形状特征约束的人体图像生成方法，包括：(1)采集获取源人体图像I和目标人体图像I,计算其姿态图像P、P和人体语义分割图像SS;(2)构建生成器G和判别器D?、Dp;(3)将I和S输入风格编码器，P输入姿态编码器，S输入形状编码器；把得到的风格特征、姿态特征和形状特征输入解码器中，获得虚拟目标人体图像I;(4)把(I,I)和(Is,I)作为判别器D?的输入，把(P↓,I)和(Pt,I)作为判别器D的输入，分别计算对抗损失，并基于I和I计算图像重建损失、感知损失和语义损失，优化G;(5)迭代训练，得到生成器G,进行人

CN113160035B

姿态

日标图

源图像

语义分

姿态编码器

形状编码器

风格编码器

解码器

目标图像

姿态

判别器1

源图像

CN113160035B权利要求书1/2页

2

1.一种基于姿态引导、风格和形状特征约束的人体图像生成方法，其特征在于，包括以下步骤：

(1)采集获取源人体图像I和目标人体图像I,根据源人体图像和目标人体图像分别获得其姿态图像P、P和人体语义分割图像SS;姿态图像的关键点个数N=18,人体语义分割图像的类别个数C=8;

(2)构建生成器G和判别器D?、Dp,其中，生成器G包括风格编码器Encodersty?e、姿态编码器Encoderpose、形状编码器Encodershape和解码器Decoder;判别器D?用于判别生成的虚拟目标图像I与源人体图像O之间的纹理相似性；判别器Dp用于判别生成的虚拟目标图像I与目标姿态P的一致性；具体步骤为：

(2-1)构建风格编码器Encoderstyle

Encodersty1e包含5个3×3卷积层和已经预训练的VGG网络，前4个卷积层提取出的特征图大小分别对应VGG中{1_1,2_1,3_1,4_1}层的特征图大小；依次组合卷积层提取的特征和VGG网络提取的特征，再输入下一个卷积层；最后一个卷积层，把特征从1024维映射到64维；

使用时，首先使用语义分割图像分割出8个独立的图像,接着把8个独立的语义图像分别输入Encodersty?e中输出对应的风格特征，最后将它们依次级联，得到最终的512维的风格特征；

(2-2)构建姿态编码器Encoderpose和形状编码器Encodershape

Encoderpose和Encodershape的网络结构相同，都包括4个3×3卷积层，激活层为ReLU层，提取512维的姿态特征和形状特征；

(2-3)构建解码器Decoder

以姿态特征作为输入，使用风格特征和形状特征计算归一化参数；先经过4个ResBlock,保持通道不变；接着经过3组上采样层和ResBlock层；除了最后一层激活层为tanh,其余激活层皆为ReLU层；