基于跨尺度信息融合的姿态估计算法研究和应用.pdfVIP

摘要

摘要

基于关键点检测的二维姿态估计是计算机视觉领域极具挑战性的研究问题之

一，在行为识别、姿态跟踪等方面具有重要的研究意义与应用价值。随着深度学

习技术发展壮大，尤其卷积神经网络（ConvolutionalNeuralNetwork，简称CNN）

的特征提取模型陆续被提出，促使二维姿态估计算法的性能提升。但其仍存在以

下问题：（一）、深度卷积网络提取图像中的有效语义特征，其性能始终受感受野的

限制，在面对复杂环境如光暗、遮挡、噪声干扰时表现不佳；（二）、虽然基于注意

力机制的Transformer模型特征提取性能优于多数卷积神经网络的方法，但网络结

构设计往往只从单尺度特征出发，跨尺度特征处理能力不足，难以满足如姿态估

计等像素级任务的需要，从而影响模型的性能表现；（三）、在姿态估计任务中，往

往主要对象是人体，即数据集内容大多为人，而含有其他物体的数据集稀少，难以

将姿态估计模型拓展到其他物体预测任务中。针对以上问题，本文提出了一种基

于跨尺度信息融合的混合姿态估计回归模型，并自主搭建了飞机数据集AirPose。

对于第一、二点问题，本文提出的模型采用了一种结合CNN和Transformer

的混合结构。CNN是有效的特征提取器，可以结合目前兴起的基于注意力机制的

Transformer模型，其建立长距离依赖关系，可以有效解决CNN感受野有限等问

题。模型包含结合了空间语义信息的跨尺度Transformer模块和基于聚类的跨尺度

簇聚类信息融合模块（Cross-scaleClusteringFeatureFusionModule，简称CFM）等

结构，实现了跨尺度特征提取和簇聚类特征融合，能更好的保留特征的位置空间

信息，有效地提高了模型的表现。实验结果表明，本文提出的算法相较基线模型有

着更优秀的结果。具体而言，在MS-COCO、MPII以及AirPose数据集上进行了实

验，分别获得了0.8%AP、0.3PCK和2.2%AP的提升。通过消融实验，证明了CFM

模块的有效性。同时还进行了可视化展示，展示了本文引用聚类方法在CFM中所

获得的效果符合预期，并且展示了在COCO数据集和AirPose数据上的预测结果。

对于第三点问题，本文聚焦我国民航行业发展正盛背景。飞机监控需要大量

人工干预，然而具有相关专业知识背景的人员匮乏且培养周期长。为缓解此现象，

可以应用姿态估计技术。但飞机数据集目前十分匮乏，故本文搭建了一个飞机数

据集名为AirPose。其由19万张有标注虚拟飞机图像与1万张真实飞机图像组成，

包含了飞机的关键点信息，为姿态估计模型的训练提供了充足的数据。

关键词：姿态估计，自顶向下，回归算法，峰值聚类算法，注意力机制

I

ABSTRACT

ABSTRACT

Two-dimensionalposeestimationbasedonkeypointdetectionisoneofthemost

challengingresearchproblemsinthefieldofcomputervision.Ithasimportantresearch

significanceandapplicationvalueinbehaviorrecognition,posetracking,etc.Inrecent

years,withthedevelopmentandgrowthofdeeplearningtechnology,especiallythefea-

tureextractionmodelofconvolutionalneuralnetwork(CNN)hasbeenproposedoneafter

another,whichhasimprovedtheperformanceoftwo-dimensionalattitudeestimational-

gorithms.Butitstillhasthefollowingproblems:(1)Deepconvolut