CN114821223B 预训练图像文本模型处理方法和图文检索系统 （杭州阿里巴巴海外互联网产业有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114821223B(45)授权公告日2025.07.08

(21)申请号202210327383.8

(22)申请日2022.03.30

(65)同一申请的已公布的文献号申请公布号CN114821223A

(43)申请公布日2022.07.29

(56)对比文件

CN114186564A,2022.03.15审查员汪三骏

(73)专利权人杭州阿里巴巴海外互联网产业有

限公司

地址310052浙江省杭州市滨江区长河街

道网商路699号5号楼3楼303室

(72)发明人季葛鹏高德宏宁伟仇光

(74)专利代理机构北京展翼知识产权代理事务所(特殊普通合伙)11452

专利代理师张阳

(51)Int.CI.

GO6V10/774(2022.01)权利要求书2页说明书10页附图4页

(54)发明名称

预训练图像文本模型处理方法和图文检索系统

(57)摘要

CN114821223B本发明公开了一种预训练图像文本模型处理方法和图文检索系统。所述方法包括：获取对图像文本样本对中的字和图像块进行掩码处理的掩码训练样本对；将掩码训练样本对输入预训练图像文本模型，获取针对被掩码字、被掩码图像块和图像文本任务输出的损失值，其中，预训练图像文本模型包括多级下采样编码器和多级上采样解码器；以及根据损失值，调整所述预训练图像文本模型中的参数。本发明通过图像的分块嵌入化结合多级下采样编码器和逐级对应的上采样解码器的模型结构实现了预训练图像语言网络中被掩码图像块的像素级重建。进一步地，将实现输入图像和文本嵌入化的自建残差子

CN114821223B

获取对图像文本样本对中的字和图像

获取对图像文本样本对中的字和图像块进行掩码处理的掩码训练样本对

将掩码训练样本对输入预训练图像文

本模型，获取针对被掩码字、被掩码图像块和图像文本任务输出的损失值

根据所述损失值，调整预训练图像文本模型中的参数

S110

S120

S130

CN114821223B权利要求书1/2页

2

1.一种预训练图像文本模型处理方法，包括：

获取对图像文本样本对中的字和图像块进行掩码处理的掩码训练样本对，其中，通过对图像中特定图像块进行掩码并对文字描述中的特定单词进行掩码来获取所述掩码训练样本对；

将所述掩码训练样本对输入所述预训练图像文本模型，获取所述预训练图像文本模型针对被掩码字、被掩码图像块和图像文本任务输出的损失值，其中，所述预训练图像文本模型包括多级下采样编码器和多级上采样解码器，其中，基于所述多级下采样编码器的输出，求取针对所述被掩码字和所述图像文本任务输出的损失值，并且基于所述多级上采样解码器的输出求取针对所述被掩码图像块的损失值；

根据所述损失值，调整所述预训练图像文本模型中的参数。

2.如权利要求1所述的方法，其中，将所述掩码训练样本对输入所述预训练图像文本模型包括：

使用嵌入变换子网络从所述掩码训练样本对生成文本嵌入向量和图像嵌入向量，其中，所述图像文本样本对中的图像被划分为多个块，并基于划分的块生成所述图像嵌入向量。

3.如权利要求2所述的方法，其中，将所述掩码训练样本对输入所述预训练图像文本模型包括在每级下采样编码器中进行如下操作：

所述文本嵌入向量串接经过平坦化处理的所述图像嵌入向量得到合成向量，

所述合成向量经过空间缩减后送入由多头注意子网络和前馈网络构成的编码器单元；以及

拆分经编码器单元处理的所述合成向量，获取经下采样的所述文本嵌入向量，并对剩余部分进行重构以获取经下采样的所述图像嵌入向量。

4.如权利要求3所述的方法，其中，在每级下采样编码器中，所述图像嵌入向量在平坦化处理前经过卷积模块处理。

5.如权利要求3所述的方法，其中，将所述掩码训练样本对输入所述预训练图像文本模型包括：

将经过多级下采样的所述图像嵌入向量送入所述多级上采样解码器，获取与输入图像相同维度的经处理图像嵌入向量。

6.如权利要求5所述的方法，其中，利用所述经处理图像嵌入向量获取所述预训练图像文本模型针对所述被掩码图像块的损失值，用于所述被掩码图像块的像素级重建。

7.如权利要求5所述的方法，其中，基于待提取图像特征粒度设置所述