CN114241496B 用于阅读任务的预训练模型训练方法、装置及其电子设备 （北京百度网讯科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114241496B(45)授权公告日2025.07.08

(21)申请号202111350551.7

(22)申请日2021.11.15

(65)同一申请的已公布的文献号申请公布号CN114241496A

(43)申请公布日2022.03.25

(56)对比文件

CN108334805A,2018.07.27审查员王卓然

(73)专利权人北京百度网讯科技有限公司

地址100085北京市海淀区上地十街10号

百度大厦二层

(72)发明人罗斌彭启明曹宇慧冯仕堃

(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201

专利代理师单冠飞

(51)Int.CI.

GO6F30/27(2020.01)

权利要求书2页说明书11页附图9页

(54)发明名称

用于阅读任务的预训练模型训练方法、装置及其电子设备

(57)摘要

CN114241496B本申请公开了用于阅读任务的预训练模型训练方法、装置及其电子设备，涉及自然语言处理和深度学习技术等人工智能领域。具体实现方案为：对电子文档进行布局解析，得到电子文档的布局信息，根据布局信息，确定电子文档中各个文本片段间的第一阅读顺序，按照布局信息将电子文档的字符信息输入至预训练模型，预测各个文本片段间的第二阅读顺序，基于预设损失函数，根据第一阅读顺序和第二阅读顺序计算损失值，基于损失值训练预训练模型。本申请可以使

CN114241496B

对电子文档进行布局解析，得到电子文档的布局信

对电子文档进行布局解析，得到电子文档的布局信息

根据布局信息，确定电子文档中各个文本片段间的第一阅读顺序

按照布局信息将电子文档的字符信息输入至预训练模型，预测各个文本片段间的第二阅读顺序

基于预设损失函数，根据第一阅读顺序和第二阅读顺序计算损失值，基于损失值训练预训练模型

101

102

103

104

CN114241496B权利要求书1/2页

2

1.一种用于阅读任务的预训练模型训练方法，包括：

对电子文档进行布局解析，得到所述电子文档的布局信息；

根据所述布局信息，确定所述电子文档中各个文本片段间的第一阅读顺序；

按照所述布局信息将所述电子文档的字符信息输入至预训练模型，预测所述各个文本片段间的第二阅读顺序；

基于预设损失函数，根据所述第一阅读顺序和所述第二阅读顺序计算损失值，基于所述损失值训练所述预训练模型；

其中，所述预训练模型包括转换模块和自注意力模块；所述按照所述布局信息将所述电子文档的字符信息输入至预训练模型，预测所述各个文本片段间的第二阅读顺序，包括：

按照所述布局信息将所述电子文档的字符信息输入至所述转换模块，得到所述电子文档中字符的表示信息；

根据字符的表示信息，生成所述各个文本片段各自的表示信息；

将所述各个文本片段各自的表示信息输入至所述自注意力模块，得到所述各个文本片段间的关联关系，其中，所述注意力模块根据所述文本片段各自的向量表示信息计算每个文本片段相对于其它片段的权重，从而得到所述各个文本片段间的关联关系；

根据所述关联关系，预测所述各个文本片段间的第二阅读顺序。

2.根据权利要求1所述的方法，其中，所述根据字符的表示信息，生成所述各个文本片段各自的表示信息，包括：

对属于相同文本片段的字符的表示信息进行求平均，得到所述各个文本片段各自的表示信息。

3.根据权利要求1所述的方法，其中，所述对电子文档进行布局解析，得到所述电子文档的布局信息，包括：

获取所述电子文档的文档图像；

根据所述文档图像对所述电子文档中的字符进行划分，得到多个文本片段；

获取所述多个文本片段的片段信息和所述多个片段各自的位置信息，以得到所述布局信息。

4.根据权利要求3所述的方法，其中，所述根据所述文档图像对电子分档中的字符进行划分，得到多个文本片段，包括：

对所述电子文档进行解析，得到所述电子文档的多个字符和每个字符对应的位置信

息；

根据所述每个字符对应的位置信息对所述多个字符进行排序；

根据所述文档图像对排序后的多个字符进行划分，得到多个文本片段。

5.一种用于阅读任务的预训练模型训练装置，包括：

解析模块，用于对电子文档进行布局解析，得到所述电子文档的布局信息；

确定模块，用于根据所述布局信