CN119964171B 一种基于多模态信息抽取的工程图纸图签识别方法及系统 （浙江华东工程数字技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119964171B(45)授权公告日2025.07.11

(21)申请号202510450366.7

(22)申请日2025.04.11

(65)同一申请的已公布的文献号申请公布号CN119964171A

(43)申请公布日2025.05.09

(73)专利权人浙江华东工程数字技术有限公司地址311100浙江省杭州市余杭区余杭街

道文一西路1818-2号9幢301室

专利权人中国电建集团华东勘测设计研究院有限公司

(72)发明人黄济富刘国阳何栓康蒙静远

(51)Int.CI.

GO6V30/148(2022.01)

GO6V30/19(2022.01)

GO6V30/422(2022.01)

(56)对比文件

CN115995092A,2023.04.21

US2024428351A1,2024.12.26审查员杨龙

(74)专利代理机构杭州宇信联合知识产权代理

有限公司33401专利代理师张海青

权利要求书2页说明书8页附图5页

(54)发明名称

一种基于多模态信息抽取的工程图纸图签识别方法及系统

(57)摘要

CN119964171B本发明公开了一种基于多模态信息抽取的工程图纸图签识别方法及系统，所述方法包括，获取工程图纸图像并对图像进行预处理，设定控制抽取目标和关系模式的数据结构Schema;通过训练好的图签检测模型检测图纸中的图签区域，得到每个图签的边界框坐标，将检测到的边界框坐标映射回原始图像的坐标系，并从原始图像中裁剪出对应的图签图像；对裁剪出的图签图像进行文本识别，提取出文本内容及对应的文本框坐标信息；将裁剪出的图签图像与文本识别结果输入至训练好的多模态信息抽取模型，并根据设定的Schema进行信息抽取，输出结构化的抽取结果。该方法可灵活定义抽取目标，支持二元组和三元组的统

CN119964171B

获取工程图纸图像并对图像进行预处理，且

获取工程图纸图像并对图像进行预处理，且设定控制抽取目标和关系模式的数据结构Schema

S2

图签检测模型检测图纸中的图签区域，得到图签的边界框坐标，并从原始图像中裁剪出对应的图签区域图像

S3

对裁剪出的图签图像进行文本识别，提取出所有文本内容及对应的文本框坐标信息

S4

将裁剪出的图签图像与文本识别结果输入至多模态信息抽取模型，根据Schema进行信息抽取，输出抽取结果

S5

对抽取结果进行后处理，保证输出信息的完整性和准确性

CN119964171B权利要求书1/2页

2

1.一种基于多模态信息抽取的工程图纸图签识别方法，其特征在于，包括，

获取工程图纸图像并对图像进行预处理，且设定控制抽取目标和关系模式的数据结构Schema,包括二元组数据结构和/或三元组数据结构；

通过训练好的图签检测模型检测图纸中的图签区域，得到每个图签的边界框坐标，并将检测到的边界框坐标从预处理后图像的坐标系映射回原始图像的坐标系，以从原始图像中裁剪出对应的图签区域图像；

对裁剪出的图签图像进行文本识别，提取出文本内容及对应的文本框坐标信息；

构建多模态信息抽取模型并将裁剪出的图签图像与文本识别结果输入至训练好的多模态信息抽取模型，且根据设定的控制抽取目标和关系模式的数据结构Schema进行信息抽取，输出结构化的抽取结果；所述构建多模态信息抽取模型包括，

对所述图签检测模型检测后的图纸进行标注并构建训练数据集，标注包括二元组图签标注和三元组图签标注；

获取图纸图像并进行识别提取图像的文本内容和二维布局信息，二维布局信息为文本序列的边界框坐标信息；

基于预设定的结构化Schema信息构建结构化模式引导器提示词引导多模态信息抽取模型进行特定类型的信息抽取；

融合文本向量和图像向量，构建多模态输入向量；

搭建多模态模型架构，并将多模态模型的输出作为输入接入两个独立的前馈神经网络，两个独立的前馈神经网络分别用于预测目标值的开始位置和结束位置；其中，搭建多模态模型架构包括，使用LayoutLMv3的多层Transformer架构捕捉复杂特征，并进行多层Transformer堆叠，其中每层Transformer通过自注意力和前馈网络逐步提取跨模态上下文表示；每层Transforme