CN119850965A 用于生成图像的文本描述的方法、装置、电子设备和介质 （北京有竹居网络技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119850965A

(43)申请公布日2025.04.18

(21)申请号202311337480.6

(22)申请日2023.10.16

(71)申请人北京有竹居网络技术有限公司

地址101299北京市平谷区林荫北街13号

信息大厦802室

(72)发明人杜正印袁泽寰

(74)专利代理机构北京市金杜律师事务所11256

专利代理师邓雪萌

(51)Int.Cl.

G06V10/44(2022.01)

G06V10/82(2022.01)

G06N3/0464(2023.01)

G06N3/084(2023.01)

G06N3/0895(2023.01)

权利要求书2页说明书14页附图7页

(54)发明名称

用于生成图像的文本描述的方法、装置、电

子设备和介质

(57)摘要

CN119850965A本公开的实施例涉及用于生成图像的文本描述的方法、装置、电子设备和介质。该方法包括由视觉编码器生成图像的第一特征，与视觉编码器语义对齐的文本编码器用于训练转换模型和语言模型。该方法还包括由转换模型将第一特征转换成第二特征，第一特征和第二特征对应于不同的特征空间。此外，该方法还包括由语言模型基于第二特征生成图像的文本描述。根据本公开的实施例，在训练过程中使得文本