CN114187653B 一种基于多流融合图卷积网络的行为识别方法 （复旦大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114187653B(45)授权公告日2025.07.08

(21)申请号202111356801.8

(22)申请日2021.11.16

(65)同一申请的已公布的文献号申请公布号CN114187653A

(43)申请公布日2022.03.15

(73)专利权人复旦大学

地址200433上海市杨浦区邯郸路220号

专利权人北京航空航天大学杭州创新研究

院

(72)发明人金城胡海苗段梦梦

(74)专利代理机构上海正旦专利代理有限公司

31200

专利代理师王洁平

(51)Int.CI.

GO6V40/20(2022.01)

GO6V20/40(2022.01)

GO6V10/80(2022.01)

GO6V10/82(2022.01)

GO6N3/0464(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN111652124A,2020.09.11审查员左赛哲

权利要求书3页说明书8页附图3页

(54)发明名称

一种基于多流融合图卷积网络的行为识别

方法

(57)摘要

CN114187653B本发明属于行为识别技术领域，具体为一种基于多流融合图卷积网络的行为识别方法。本发明主要通过提取并融合多类行为信息进行行为识别，分为三个阶段进行：数据预处理、特征提取、特征融合。在数据预处理阶段，提出三种骨架规范化措施，减少人体位置、摄像机视角和人体与摄像机距离等因素对人体骨架数据表示的影响；在特征提取阶段，构建骨架的全局连接图，直接学习远距离关节点之间的相互关系；在特征融合阶段，分两阶段来融合三类信息的特征。本发明针所提出的方法更加有效的利用了多类行为的互补信息，提出的骨架规范化措施使得人体骨

CN114187653B

融合特征

融合特征

多流征

多流征网络

CN114187653B权利要求书1/3页

2

1.一种基于多流融合图卷积网络的行为识别方法，其特征在于，其分为3个阶段：数据预处理、特征提取、特征融合；其中：

数据预处理阶段，利用骨架规范化模块对输入的人体骨架序列数据即关节点数据进行处理，得到规范化的人体骨架序列数据，然后进一步通过求得相邻关节点之间构成的向量获得骨骼数据，通过求得相邻帧之间的同一个关节点的位移获得运动数据；其中：人体骨架序列数据表示为X={xt3t=1,T表示骨架序列的长度，T取300,x∈R×C表示第t个骨架的关节点坐标，V表示人体骨架中关节点的数目，V=14,C表示关节点坐标的维度，C=3,表示每个关节点有x、y、z三个坐标；

其中，人体关节编号及其含义如下：

0:颈；1:头；2:右肩；3:右肘；4:右腕；5:左肩；6:左肘；7:左腕；

8:右臀；9:右膝；10:右踝；11:左臀；12:左膝；13:左踝；

特征提取阶段，利用时空图卷积网络分别提取关节点数据、骨骼数据和运动数据的时空特征，获得关节点特征、骨骼特征和运动特征；

特征融合阶段，利用多流特征融合网络进一步融合关节点特征、骨骼特征和运动特征，再通过分类器得到行为的预测结果；利用多流特征融合网络进行融合的方法如下：

第一阶段，首先将三种特征两两拼接，将拼接后的特征输入到两个连续的图卷积单元，融合两类信息的特征；之后，将融合的特征输入到池化层；

第二阶段，池化层后连接两个全连接层，两个全连接层中有一个ReLU层，得到三个分类特征f?、f?和f?,然后融合三路特征得到总体分类特征f?,f?=f?+f?+f?;其中：

特征提取阶段中，通过时空图卷积网络来提取关节数据、骨骼数据和运动数据的时空特征，时空图卷积网络的实现步骤如下：

(1)构建人体骨架时空图

人体骨架时空图的构建分为三步：

(a)对于骨架序列X3及人体生理上相邻的关节点集合H,H的定义如下所示，对x3中的每

个x3,连接其生理上相邻的关节点，得到部分空间边，从而构建局部连接图；H={(0,1),(0,2),(0,5),(2,3),(3,4),(5,6),(6,7),

(8,9),(9,10),(11,12),(12,13)}

(b)给定集合M,M为生理上不相邻但却紧密联系的关节点集合，其定义如下所示，对给定的骨架序列X3中的每个x3,根据M建立边，得到全局连接图；与步骤(a)中得到的局部连接图组成骨架空间图G