CN115719510B 基于多模态融合及隐式交互关系学习的群组行为识别方法 （哈尔滨工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115719510B(45)授权公告日2025.07.11

(21)申请号202211365228.1

(22)申请日2022.11.03

(65)同一申请的已公布的文献号申请公布号CN115719510A

(43)申请公布日2023.02.28

(73)专利权人哈尔滨工业大学

地址150006黑龙江省哈尔滨市南岗区西

大直街92号

专利权人青岛科技大学

(72)发明人邓海刚刘斯凡李成伟邹风山王传旭

(74)专利代理机构青岛汇智海纳知识产权代理有限公司37335

专利代理师王丹丹

(51)Int.CI.

GO6V40/20(2022.01)

GO6V40/10(2022.01)

GO6V10/40(2022.01)

GO6V10/80(2022.01)

GO6V10/74(2022.01)

GO6V10/42(2022.01)

GO6V10/82(2022.01)

GO6V10/764(2022.01)

GO6V20/40(2022.01)

GO6V20/52(2022.01)

GO6N3/0464(2023.01)

GO6N5/04(2023.01)

(56)对比文件

CN111401174A,2020.07.10

邓海刚等.深度学习框架下群组行为识别算法综述.《电子学报》.2022,第1-19页.

审查员申冰冰

权利要求书2页说明书8页附图3页

(54)发明名称

基于多模态融合及隐式交互关系学习的群组行为识别方法

(57)摘要

CN115719510B本发明公开一种基于多模态融合及隐式交互关系学习的群组行为识别方法，首先提取人物静态姿态特征和动态光流特征；进行多模态特征融合，得到既包含光流又包含姿态的特征信息表示；基于融合后的特征向量，进行成员交互关系学习，以选择性的提取对行为识别重要的人物，更好地建模人物之间的关系；然后提取包含背景信息的全局特征信息；最后利用全局视野中的场景级别信息差异性的特征，辅助人物级别特征共同进行群组行为识别。本方案通过提取组群中个体行为，建模推理组群成员之间的交互关系最终达到预测群体行为的目的，识别精度高，在群组

CN115719510B

CN115719510B权利要求书1/2页

2

1.基于多模态融合及隐式交互关系学习的群组行为识别方法，其特征在于，包括以下步骤：

步骤A、动静态双流人物特征提取：基于人物级别特征提取模块提取人物静态姿态特征和动态光流特征，具体的：

对于输入的视频帧，分成三个分支，包括静态分支，动态分支和全局分支；静态分支和动态分支连接至人物级别特征提取模块，全局分支连接至全局特征提取模块，采用双流特征提取的方式丰富个体的特征：

(1)静态分支主干网络提取人物静态姿态特征：以视频帧中围绕人物的边界框作为姿态估计模型HRNet的输入，预测关键节点；

(2)动态分支主干网络提取光流动态特征：采用I3D网络中的光流表示，首先将输入序列帧转换为连续的光流帧，然后通过膨胀的3D卷积网络处理堆叠的帧序列，并加入ROIAlign层将坐标投影到框架的特征图上，进而提取输入帧中每个人物边界框的光流特

征；

步骤B、多模态特征融合：通过自适应多模态特征融合模块将静态姿态特征和动态光流特征单峰连接后进行卷积压缩得到显著信息的潜在向量，首先将单个单峰特征连接，将其通过编码器卷积网络降低通道数，得到自融合的潜在向量；从自融合的潜在向量重建最初连接的向量，然后最小化原始和重构级联向量之间的欧式距离，并将中间向量作为融合后的多模态特征信息表示；进而得到融合后既包含光流又含有精细姿态各模态最具代表性的特征信息表示；

步骤C、成员交互关系学习：利用步骤B得到的融合后特征信息表示，基于自注意力机制，通过关联强度计算成对人物特征的外观相似度，以选择性的提取对行为识别重要的人物，得到以注意力权重和的形式计算的组群成员之间的隐含向量表示；

步骤D、全局特征提取：基于全局特征提取模块，针对输入视频帧，提取包含背景信息的全局特征信息；

步骤E、基于步骤C和步骤D,实现对群组行为的识别。

2.根据权利要求1所述的基于多模态融合及隐式交互关系学习的群组行为识别方法，其特征在于：