CN115719414B 基于任意四边形回归的目标检测与精确定位方法 （西北工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115719414B(45)授权公告日2025.07.11

(21)申请号202211365117.0

(22)申请日2022.11.03

(65)同一申请的已公布的文献号申请公布号CN115719414A

(43)申请公布日2023.02.28

(73)专利权人西北工业大学

地址710072陕西省西安市友谊西路

(72)发明人李晖晖冯昱霖刘航

(74)专利代理机构西安凯多思知识产权代理事务所(普通合伙)61290

专利代理师王鲜凯

(51)Int.CI.

GO6V10/22(2022.01)

GO6V10/82(2022.01)

GO6V10/46(2022.01)

GO6V10/80(2022.01)

GO6V20/52(2022.01)

GO6V10/774(2022.01)

GO6V10/764(2022.01)

GO6N3/0464(2023.01)

GO6N3/084(2023.01)

(56)对比文件

CN113792721A,2021.12.14

CN112949766A,2021.06.11

审查员吴海旋

权利要求书3页说明书8页附图3页

(54)发明名称

基于任意四边形回归的目标检测与精确定

位方法

(57)摘要

CN115719414B本发明涉及一种基于任意四边形回归的目标检测与精确定位方法，首先，进行图像预处理，划分图像数据训练集、验证集和测试集之后，针对数据集的特点，采用相应的数据增强手段，添加基于目标坐标的随机裁剪、亮度扰度与亮度直方图均衡化等。其次，构建神经网络模型，主干网络提取特征之后，构造关键点检测分支，通过热力图回归直接预测目标区域的四个关键点位置，使得神经网络具备直接预测任意四边形的能力，从而精确定位目标的关键区域。最后，改进与优化算法模型，扩大特征尺寸并局部映射，基于注意力机制进行特征融合，利用多任务多阶段的混合级联结构与分支间的信息交互进

CN115719414B

分类分支

分类分支

轴出目标

类别

待检测目标图片

橙回归分支定位外

接矩形框

关键点检

澳分支定

位任意四

边形

RPN生成

的模选

PN出

输出任意四边形的

顶点坐标

池化层得至同一大

CN115719414B权利要求书1/3页

2

1.一种基于任意四边形回归的目标检测与精确定位方法，其特征在于步骤如下：

步骤1:构建基于任意四边形回归的目标检测网络模型，该模型基于FasterRCNN网络模型搭建，于FasterRCNN网络的ROIAlign池化层与边框回归分支的输出端连接基于多重注意力机制特征交互融合的关键点检测分支GridHead;

所述关键点检测分支GridHead基于全卷积网络搭建，包括用于特征提取的卷积序列、增大特征局部映射模块、特征交互融合模块、改变特征尺寸的反卷积层以及混合级联结构；使用卷积序列对输入的待检测图像特征进行特征提取，特征提取后增大特征并进行局部映射，再使用基于多重注意力机制的特征融合模块对提取的特征进行多级融合处理，将融合输出的特征图输入到多层反卷积层，输出用于提取关键点坐标的热力图，利用多任务多阶段的混合级联结构与信息交互结合边框回归结果进一步提精，将最终得到的热力图转换得到待检测目标关键区域的任意四边形四个顶点GridPoint的坐标信息；

步骤2:于监控设备下自行采集目标图片数据并整理，划分图像训练集、验证集和测试集后，对每一幅目标图像分别进行相应的数据增强手段，增强处理前后的图像共同构成目标图像数据集；

步骤3:以步骤2得到的图像数据集中的训练集与验证集为输入，采用随机梯度下降法对步骤1构建的基于任意四边形回归的目标检测网络模型进行训练，得到训练好的网络模型，使用测试集对得到的网络模型进行性能评估；

步骤4:将待检测的目标图像输入到步骤3训练好的网络模型中，输出得到类别信息和目标关键区域任意四边形的顶点坐标，在完成目标检测的基础上进一步精确定位。

2.根据权利要求1所述的一种基于任意四边形回归的目标检测与精确定位方法，其特征在于：所述步骤1的增大特征局部映射的具体过程如下：

对于待检测的目标来说，所有的GridPoint共享一个相同