CN119293514A 用于多语言任务的模型预训练方法和装置 （连连银通电子支付有限公司）.pdfVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119293514A

(43)申请公布日2025.01.10

(21)申请号202411831139.0G06V10/80(2022.01)

G06F18/25(2023.01)

(22)申请日2024.12.12

G06N3/0442(2023.01)

(71)申请人连连银通电子支付有限公司G06N3/0455(2023.01)

地址310051浙江省杭州市滨江区越达巷

G06N3/0464(2023.01)

79号1号楼11楼

G06N3/0895(2023.01)

申请人连连（杭州）信息技术有限公司

(72)发明人王愚侯兴翠

(74)专利代理机构广州三环专利商标代理有限

公司44202

专利代理师方秀琴

(51)Int.Cl.

G06F18/214(2023.01)

G06V10/774(2022.01)

G06F40/289(2020.01)

G06V10/52(2022.01)

权利要求书4页说明书19页附图3页

(54)发明名称

用于多语言任务的模型预训练方法和装置

(57)摘要

本申请提供了用于多语言任务的模型预训

练方法和装置，涉及人工智能技术领域，方法包

括：获取多模态训练数据集，训练数据集包括具

有多语言内容的多个样本文本数据和多个样本

图文对数据，涵盖通用领域和预设业务领域；基

于多个样本图文对数据，对初始模型进行视觉特

征和文本特征对齐的对比学习训练，在训练过程

中冻结解码模块的模型参数并调整视觉编码器

和投影模块的模型参数，至满足第一结束条件；

基于多个样本图文对数据和多个样本文本数据，

对满足第一结束条件的初始模型进行内容理解

的约束训练，在训练过程中调整视觉编码器、投

A影模块和解码模块的模型参数，至满足第二结束

4条件得到目标模型；本申请能够显著提升模型在

1

5

3特定领域的信息提取能力。

9

2

9

1

1

N

C

CN119293514A权利要求书1/4页

1.一种用于多语言任务的模型预训练方法，其特征在于，所述方法包括：

获取多模态训练数据集和初始模型，所述训练数据集包括多个样本文本数据和多个样

本图文对数据，所述多个样本图文对数据和所述多个样本文本数据包括多种语言内容，且

所述多个样本图文对数据包括通用领域的样本图文对数据和目标场景中预设业务领域的

样本图文对数据，所述多个样本文本数据包括所述预设业务领域的文本数据，所述初始模

型包括依次连接的视觉编码器、投影模块和解码模块，所述解码模块是基于大语言模型构

建的；

基于所述多个样本图文对数据，对所述初始模型进行视觉特征和文本特征对齐的对比

学习训练，在训练过程中冻结所述解码模块的模型参数并调整所述视觉编码器和所述投影

模块的模型参数，至满足第一结束条件；

基于所述多个样本图文对数据和所述多个样本文本数据，对满足所述第一结束条件的

初