CN114332893B 表格结构识别方法、装置、计算机设备和存储介质 （腾讯科技（深圳）有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114332893B(45)授权公告日2025.07.01

(21)申请号202111020622.7

(22)申请日2021.09.01

(65)同一申请的已公布的文献号申请公布号CN114332893A

(43)申请公布日2022.04.12

(73)专利权人腾讯科技(深圳)有限公司

地址518000广东省深圳市南山区高新区

科技中一路腾讯大厦35层

(72)发明人李鑫刘皓刘银松姜德强

(74)专利代理机构华进联合专利商标代理有限公司44224

专利代理师董慧

(51)Int.CI.

GO6V30/413(2022.01)

GO6V30/19(2022.01)

GO6N3/0464(2023.01)

GO6N3/0499(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN111695517A,2020.09.22审查员杨霜雪

权利要求书3页说明书15页附图7页

(54)发明名称

表格结构识别方法、装置、计算机设备和存储介质

(57)摘要

CN114332893B本申请涉及一种表格结构识别方法、装置、计算机设备和存储介质。所述方法包括：获取目标表格图像区域，识别目标表格图像区域中的文本区域，确定各文本区域的图像特征和坐标特征，将图像特征、坐标特征进行融合，得到对应的文本区域元素融合特征。根据文本区域元素融合特征，确定目标表格图像区域中各结点的邻接特征，将任意两个结点的邻接特征进行特征拼接，对拼接得到的邻接矩阵进行分类预测，生成与该两个结点对应的文本区域的行列关系预测结果，基于行列关系预测结果，确定与目标表格图像区域对应的表格结构。采用本方法能够达到对目标表格图像区域的整体识别，根据行列关系的预测

CN114332893B

S202

S202

获取目标表格图像区域，识别目标表格图像区域中的文本区域

S204

确定各文本区域的图像特征和坐标特征，并分别将图像特征、坐标特征进行融合，得到与各文本区域对应的文本区域元素融合特征

S206

根据文本区域元素融合特征，确定目标表格图像区域中各结点的邻接特征

将任意两个结点的邻接特征进行特征拼接，并对拼接得到的

邻接矩阵进行分类预测，生成与该两个结点对应的文本区域

的行列关系预测结果

S210

基于各文本区域的行列关系预测结果，确定与目标表格图像区域对应的表格结构

S208

CN114332893B权利要求书1/3页

2

1.一种表格结构识别方法，其特征在于，所述方法包括：

获取目标表格图像区域，识别所述目标表格图像区域中的文本区域；

确定各所述文本区域的图像特征和坐标特征，并分别将所述图像特征、坐标特征进行融合，得到与各所述文本区域对应的文本区域元素融合特征；

获取各所述文本区域元素融合特征对应的结点，确定各所述结点的预设个数的邻近结点，并将各所述结点与该结点对应的各所述邻近结点的文本区域元素融合特征进行融合，得到各所述结点对应的邻近融合特征；

整合各所述结点的邻近融合特征，得到聚合特征，并对各所述结点的聚合特征进行降维处理，得到降维后的多头图特征；所述降维后的多头图特征为与所述文本区域元素融合特征对应的结点的局部特征；

获取各所述文本区域元素融合特征对应的结点的全局特征，并基于所述局部特征和所述全局特征进行特征聚合，得到所述目标表格图像区域中各结点的邻接特征；

将任意两个结点的邻接特征进行特征拼接，并对拼接得到的邻接矩阵进行分类预测，生成与该两个结点对应的文本区域的行列关系预测结果；

基于各所述文本区域的行列关系预测结果，确定与所述目标表格图像区域对应的表格结构。

2.根据权利要求1所述的方法，其特征在于，所述确定各所述文本区域的图像特征和坐标特征，并分别将所述图像特征、坐标特征进行融合，得到与各所述文本区域对应的文本区域元素融合特征，包括：

获取从所述目标表格图像区域内确定出各所述文本区域的位置坐标，并对所述文本区域的位置坐标进行升维，得到升维后的坐标特征；

根据各所述文本区域的位置坐标，获取对应的文本区域的图像内容；

基于所述文本区域的图像内容进行图像特征对齐，得到对齐后的图像特征，对齐后的所述图像特征的维度与所述升维后的所述坐标特征的维度相