CN118334160B 一种细粒度时尚文本引导的服饰图像生成方法 （昆明理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118334160B(45)授权公告日2025.07.11

(21)申请号202410563661.9

(22)申请日2024.05.08

(65)同一申请的已公布的文献号申请公布号CN118334160A

(43)申请公布日2024.07.12

(73)专利权人昆明理工大学

地址650500云南省昆明市呈贡区景明南

路727号

(72)发明人刘骊张万辉付晓东彭玮刘利军

(74)专利代理机构昆明隆合知识产权代理事务所(普通合伙)53220

专利代理师何娇

(51)Int.CI.

GO6T11/00(2006.01)

GO6V10/40(2022.01)

GO6V10/54(2022.01)GO6F18/213(2023.01)GO6V10/56(2022.01)GO6N3/047(2023.01)

GO6N3/048(2023.01)

GO6N3/0464(2023.01)

GO6N3/0475(2023.01)

GO6N3/094(2023.01)

GO6N3/09(2023.01)

GO6N3/0455(2023.01)

(56)对比文件

CN

CN

115953590

109145947

A,2023.04.11

A,2019.01.04

审查员贺希佳

权利要求书1页说明书7页附图5页

(54)发明名称

一种细粒度时尚文本引导的服饰图像生成

方法

(57)摘要

CN118334160B本发明涉及细粒度时尚文本引导的服饰图像生成方法，属计算机视觉、人工智能领域。本发明首先获取得到时尚文本特征和纹理图案、服饰图像特征；其次，分别对时尚文本、纹理图案、服饰图像特征进行编码得到全局时尚描述符、细粒度时尚文本特征、细粒度图像特征和粗粒度图像特征；然后，对细粒度时尚文本特征和细粒度图像特征进行细粒度时尚特征学习，得到具有风格、颜色、配饰等时尚服饰细节信息的细粒度文本-图像特征；最后，结合全局时尚描述符、细粒度文本-图像特征和粗粒度图像特征进行服饰图像生成，得到新的服饰图像。本发明能够结合细

CN118334160B

准性。

文本吊a用amRE

全n反服并国版压

全

CN118334160B权利要求书1/1页

2

1.一种细粒度时尚文本引导的服饰图像生成方法，其特征在于：

步骤1、对输入的多模态时尚服饰数据集进行文本-图像特征提取，分别得到时尚文本特征，纹理图案特征和服饰图像特征；

步骤2、通过构建包含全局-局部编码器、文本编码器、图案编码器和图像编码器的文本-图像特征编码模块，分别对时尚文本、纹理图案、服饰图像特征进行编码得到全局时尚文本描述符、细粒度时尚文本特征、细粒度图像特征和粗粒度图像特征；

步骤3、对细粒度时尚文本特征和细粒度图像特征进行细粒度时尚特征学习，得到具有时尚服饰细节信息的细粒度文本-图像特征，所述时尚服饰细节信息包括风格、颜色、配饰；

步骤4、结合全局时尚文本描述符、细粒度文本-图像特征和粗粒度图像特征进行服饰图像生成，得到新的服饰图像；

所述步骤1具体如下：

首先，对输入的多模态时尚服饰数据集中的服饰图像和时尚文本，时尚文本通过预训练的由Bert构成Clip文本编码器得到时尚文本特征ftext,其次，服饰图像通过预训练的VGGNet和Clip-VisionTransformer得到纹理图案特征fpatch、服饰图像特征fimage;

所述步骤2具体如下：

首先，将得到的时尚文本特征ftext采用Clip文本编码器对其进行描述符标记化，将其填充为单词嵌入，通过预训练的全局-局部编码器提取到特征，并且采用注意力层来处理单词嵌入，分别得到局部时尚文本描述符t1oca?和全局时尚文本描述符tg?oba?,将局部时尚文本描述符t1oca?的时尚文本属性定义为包含风格、颜色和配饰3类属性；

通过构建包含3类文本属性的Clip文本编码器，对局部时尚文本描述符t1oca?进行标记化，将其映射到标记化空间，并使用transformer编码后归一化操作，从而得到细粒度时尚文本特征；

其次，纹理图案特征fpatch通过预训练的VGG-19网络得到细粒度图像特征ffine