CN114821620B 基于行文本框纵向合并的文本内容提取识别方法 （浙江理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114821620B(45)授权公告日2025.07.11

(21)申请号202210499796.4

(22)申请日2022.04.28

(65)同一申请的已公布的文献号申请公布号CN114821620A

(43)申请公布日2022.07.29

(73)专利权人浙江理工大学

地址310018浙江省杭州市经济技术开发

区白杨街道2号大街928号

GO6V40/10(2022.01)

GO6V20/62(2022.01)GO6V30/146(2022.01)

(56)对比文件

CN113963342A,2022.01.21

CN114359942A,2022.04.15

审查员邓雪彬

(72)发明人冯杰刘新天朱明航孟泽正张海翔

(74)专利代理机构杭州天勤知识产权代理有限公司33224

专利代理师王琛

(51)Int.CI.

GO6V30/414(2022.01)权利要求书2页说明书5页附图6页

(54)发明名称

基于行文本框纵向合并的文本内容提取识

别方法

(57)摘要

CN114821620B本发明公开了一种基于行文本框纵向合并的文本内容提取识别方法，利用手指在设备摄像头下指出想要查看的题目，以图片的形式上传到服务器，通过简单算法就可以将和本题相关的所有的文字用一个矩形框框选出来，实现一个行的纵向合并，并且将矩形框中文字呈现出来。本发明根据文本框的位置信息、语义信息以及手指坐标信息，使用简单高效的算法实现多行相关文本框的合并，并将合并后文本框中的内容输出，该算法简单高效，解决了服务器资源不足的问题。同时本发明使用目标检测和手部检测识别实现找到手指关键点的坐标，使用现有模型加上后期

CN114821620B

CN114821620B权利要求书1/2页

2

1.一种基于行文本框纵向合并的文本内容提取识别方法，包括如下步骤：

(1)针对关于试卷、练习册的文本图像，先对图像进行预处理，然后采用现有的文本检测算法将图像中的所有文本框及其信息提取识别出来；

(2)采用现有的目标检测模型将指向题目的手部区域以矩形框的形式框选出来，进而在手部区域内检测出手指各关键节点的位置信息；

(3)利用文本框信息以及手指关键节点的位置信息，将手指指向属于同一道题目的所有文本框纵向合并成一个矩形框提取出来，具体实现过程如下：

3.1根据手指指尖节点的位置信息，初步筛选符合条件的文本框，具体地：首先从图像所有文本框中选出满足x_left≤x1≤x_right的文本框；然后在所选出的文本框中找出满足y_lefty1的文本框作为初步筛选结果；其中x_left为文本框左上顶点的x轴坐标值，x_right为文本框右上顶点的x轴坐标值，y_left为文本框左上顶点的y轴坐标值，x1和y1分别为手指指尖节点的x轴坐标值和y轴坐标值；

3.2根据文本框的位置信息以及内容信息，从初步筛选保存的文本框集合中找出所指题目的所有文本框，具体地：首先从初步筛选保存的文本框集合中找出离手指指尖节点最近的文本框记为T1且T1为所指题目的文本框，判断T1开头是否有题号，若有则停止搜索；若没有，则从所述文本框集合中找出T1之上最近的一个文本框记为T2,判断T1与T2是否满足以下关系，若不满足则舍弃T2并停止搜索；若满足则判定T2为所指题目的文本框，进而判断T2开头是否有题号，若有则停止搜索，若没有则依据上述继续向上搜索，直至判断完文本框集合中所有的文本框；

x3≤x2≤x4且frame_height≥frame_distance

其中：x2为T1中心点的x轴坐标值，x3为T2左上顶点的x轴坐标值，x4为T2右上顶点的x轴坐标值，frame_height为T2的框高，frame_distance为T2与T1之间的框距；

3.3将所指题目的所有文本框合并成一个矩形框，具体地：对于所指题目的所有文本框，找到这些文本框四个顶点中最大的x轴坐标值max_x、最大的y轴坐标值max_y、最小的x轴坐标值min_x、最小的y轴坐标值min_y,然后确立左下顶点坐标