CN115661718B 一种基于跨尺度图对比学习的人体骨架动作识别方法 （桂林电子科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115661718B(45)授权公告日2025.07.04

(21)申请号202211385326.1

(22)申请日2022.11.07

(65)同一申请的已公布的文献号申请公布号CN115661718A

(43)申请公布日2023.01.31

(73)专利权人桂林电子科技大学

地址541004广西壮族自治区桂林市七星

区金鸡路1号

专利权人桂林安维科技有限公司

(72)发明人徐增敏张雪莲蒙儒省丁勇

(74)专利代理机构桂林文必达专利代理事务所(特殊普通合伙)45134

专利代理师白洪

(51)Int.CI.

GO6V20/40(2022.01)

GO6V40/20(2022.01)

GO6V10/82(2022.01)

GO6N3/0464(2023.01)

GO6N3/048(2023.01)

GO6N3/09(2023.01)

(56)对比文件

CN114549985A,2022.05.27CN115147676A,2022.10.04审查员张茜

权利要求书1页说明书6页附图1页

(54)发明名称

一种基于跨尺度图对比学习的人体骨架动作识别方法

(57)摘要

CN115661718B本发明涉及自监督学习技术领域，具体涉及一种基于跨尺度图对比学习的人体骨架动作识别方法，基于图对比自监督动作识别网络和跨尺度一致性知识挖掘方法，得到最终模型，再利用带标签训练数据对所述最终模型的参数进行微调，并基于线性评估协议得到所述最终模型的识别性能；本发明通过充分利用图对比学习方法，在扩充无标签骨架数据时，随机裁剪组成骨架结构的边，其次利用骨骼关节点相互聚合的方法，构建出多个尺度的骨架图，通过跨尺度感知一致性，进一步提高了最近邻挖掘策略，使学习过程更加合理从而提升识别性能，解决了现有的人体

CN115661718B

采集获取无标签骨架序列；

采集获取无标签骨架序列；

统一规划所述无标签骨架序列的连续机数；

利用图数据增强思想获得所述无标签骨架序列的不同实咧；

通过编码器网络对不同实例进行骗码获得编码特征，并建立图对比自监

督动作识别网络；

S4

结合跑尺度一致性知识挖担方法进行多尺度信息间的交互；

CN115661718B权利要求书1/1页

2

1.一种基于跨尺度图对比学习的人体骨架动作识别方法，其特征在于，包括下列步骤：

采集获取无标签骨架序列；

统一规划所述无标签骨架序列的连续帧数；

利用图数据增强思想获得所述无标签骨架序列的不同实例；

通过编码器网络对不同实例进行编码获得编码特征，并建立图对比自监督动作识别网络；

编码器网络为图卷积神经网络，用于提取所述不同实例的编码特征；图对比自监督动作识别网络是由两条路径组成，分别为原路径和图对比路径，每条路径分别包括数据增强模块、编码器模块和投影层模块，其中投影层模块是由全连接层与线性层组成；

结合跨尺度一致性知识挖掘方法进行多尺度信息间的交互；

在结合跨尺度一致性知识挖掘方法进行多尺度信息间的交互过程中，利用多尺度图建模三维骨骼特征表示，聚集骨骼关节点的关键相关特征，实现多尺度信息间的交互的具体方式为：将原始骨架序列转化为多尺度骨架图序列，结合跨尺度一致性知识挖掘模块，利用一个尺度图中特征信息的相似性，促进另一个尺度图中相似特征进行有效聚类；

基于图对比自监督动作识别网络和跨尺度一致性知识挖掘方法，得到最终模型；

利用带标签训练数据对所述最终模型的参数进行微调，并基于线性评估协议得到所述最终模型的识别性能。

2.如权利要求1所述的基于跨尺度图对比学习的人体骨架动作识别方法，其特征在于，所述无标签骨架序列通过使用摄像头从不同的视角采集人体骨架数据集后获得。

3.如权利要求2所述的基于跨尺度图对比学习的人体骨架动作识别方法，其特征在于，在统一规划所述无标签骨架序列的连续帧数的过程中，为避免数据冗余和降低计算复

杂度，在人体骨架数据集中，统一规划骨架序列的连续帧数。

4.如权利要求3所述的基于跨尺度图对比学习的人体骨架动作识别方法，其特征在于，

利用图数据增强思想获得所述无标签骨架序列的不同实例的过程，具体为在同一骨架序列上，利用包含图数据增强在内的数据增强方法，获得无标签骨架序列的不同实例，并将所述不同实例作为正样本集。

5.如权利要求4所