CN120234654A 基于多模态融合的空间交互精准识别方法及系统 （中天智领（北京）科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120234654A(43)申请公布日2025.07.01

(21)申请号202510705395.3

(22)申请日2025.05.29

(71)申请人中天智领(北京)科技有限公司

地址100096北京市昌平区回龙观镇龙域

中街1号院1号楼2单元806

(72)发明人党战雄李红梅郭亮宋志标张啸轩

GO6V

GO6N

GO6N

GO6N

GO6N

GO6N

10/82(2022.01)

3/0464(2023.01)

3/042(2023.01)

3/0475(2023.01)3/094(2023.01)3/0455(2023.01)

(74)专利代理机构北京智行阳光知识产权代理

事务所(普通合伙)11738专利代理师张毅群

(51)Int.CI.

GO6F18/24(2023.01)

GO6F18/25(2023.01)

GO6F18/15(2023.01)

GO6V40/20(2022.01)

权利要求书3页说明书16页附图3页

(54)发明名称

采集信息视觉特征增强与人体骨骼信息互补校正特征融合得到统一特征表示对于低置信度动作识别结果

采集信息

视觉特征增强与人体骨骼信息互补校正

特征融合得到统一特征表示

对于低置信度动作识别结果

基于因果关系图谱补全图像信息

生成最终识别结果

(57)摘要

本发明提供基于多模态融合的空间交互精准识别方法及系统，涉及人工智能技术领域，包括通过采集人体骨骼、视觉图像和语音信息，利用特征提取网络生成时空注意力图增强视觉特征，执行特征互补校正，融合三种模态信息得到统一特征表示；当识别置信度低时，基于动作因果关系图谱引导的时空卷积生成对抗网络补全缺失图像帧，提高了空间交互识别的精确性和鲁

CN

CN120234654A

CN120234654A权利要求书1/3页

2

1.基于多模态融合的空间交互精准识别方法，其特征在于，包括：

采集人体骨骼信息和视觉图像信息和语音信息；

将所述人体骨骼信息和视觉图像信息输入至特征提取网络，所述特征提取网络基于所述人体骨骼信息中的关节点时空特征生成时空注意力图，将所述时空注意力图作用于视觉图像信息得到增强视觉特征；对所述人体骨骼信息和增强视觉特征执行特征互补校正；基于时序建模、特征对齐和跨模态注意力机制，将校正后的人体骨骼特征和视觉特征与语音信息特征进行融合，得到统一特征表示；

对所述统一特征表示进行动作识别，当识别结果的置信度低于预设置信度阈值时，对视觉图像信息中的缺失图像帧，基于动作因果关系图谱引导的时空卷积生成对抗网络进行补全，得到补全后的视觉图像信息；将所述补全后的视觉图像信息与人体骨骼信息和语音信息重新进行特征融合，得到最终的动作识别结果。

2.根据权利要求1所述的方法，其特征在于，所述特征提取网络基于所述人体骨骼信息中的关节点时空特征生成时空注意力图，将所述时空注意力图作用于视觉图像信息得到增强视觉特征包括：

获取包含T帧的骨骼序列，所述骨骼序列的每一帧包含N个关节点，每个关节点包括二维坐标和置信度信息，所述二维坐标用于表征关节点在图像中的位置；基于相邻帧的二维坐标计算关节点的位移向量；

将所述骨骼序列构建为图结构，所述图结构包括顶点集和边集，顶点集对应骨骼序列中的关节点，边集对应骨骼序列中的骨骼连接；将所述图结构输入至图卷积网络，基于关节点的邻居节点集合对关节点的特征进行增强，得到增强后的关节点特征；对增强后的关节点特征进行多尺度时空特征提取，生成时空位置编码并与时空特征融合得到编码特征，并计算得到时空自注意力特征；对所述时空自注意力特征进行权重融合和约束优化，得到时空注意力图；

基于所述位移向量计算所述时空注意力图中的运动幅度值，所述运动幅度值通过对应位置的位移向量的欧式范数确定；将所述运动幅度值归一化处理得到增强系数，所述增强系数与所述时空注意力图的乘积作用于视觉图像信息以增强目标动作区域的特征表达，得到增强视觉特征。

3.根据权利要求2所述的方法，其特征在于，生成时空注意力图包括：

对所述增强后的关节点特征进行多尺度下采样得到多尺度空间特征图，在预设时间窗口内对所述多尺度空间特征图进行时间卷积运算得到时间动态特征；

生成时空位置编码，将所述时空位置编码与