一种基于人工智能的动作识别方法和相关装置.pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 110765967 A (43)申请公布日 2020.02.07 (21)申请号 201911046992.0 (22)申请日 2019.10.30 (71)申请人 腾讯科技（深圳）有限公司 地址 518057 广东省深圳市南山区高新区 科技中一路腾讯大厦35层 (72)发明人 迟万超　张冲　凌永根　刘威　 张正友　袁泽剑　宋子扬　殷梓译　 (74)专利代理机构 深圳市深佳知识产权代理事 务所(普通合伙) 44285 代理人 王兆林 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/68(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 权利要求书2页 说明书24页 附图8页 (54)发明名称 一种基于人工智能的动作识别方法和相关 装置 (57)摘要 本申请实施例公开了一种基于人工智能的 动作识别方法和相关装置，确定待识别视频数据 中视频帧对应的节点序列信息，根据待识别视频 数据中N个连续视频帧分别对应的节点序列信 息，确定视频帧分别对应的动作类别，根据动作 类别确定交互对象做出何种交互动作。由此可 见，在确定一个视频帧对应的动作类别时，会参 考该视频帧所在N个连续视频帧所携带的信息， 或者说会参考该视频帧的过去和/或未来时间内 的相关信息，从而引入了更多的有效信息，即使 采用非专用动作识别的采集装置获取待识别视 A 频数据，这种通过一组连续视频帧来确定其中各 7 个视频帧对应动作类别的方式也可以实现较好 6 9 5 的动作识别精度，从而降低了智能交互场景的适 6 7 0 用范围和实施成本。 1 1 N C CN 110765967 A 权　利　要　求　书 1/2页 1.一种动作识别方法，其特征在于，所述方法包括： 根据包括交互对象的待识别视频数据，确定所述待识别视频数据中视频帧对应的节点 序列信息，所述节点序列信息用于标识所述交互对象用于实施交互动作的节点序列中的节 点位置信息； 根据所述待识别视频数据中N个连续视频帧对应的节点序列信息，确定所述N个连续视 频帧分别对应的动作类别； 根据所述待识别视频数据中视频帧对应的动作类别，确定所述交互对象做出的交互动 作。 2.根据权利要求1所述的方法，其特征在于，所述根据所述待识别视频数据中N个连续 视频帧对应的节点序列信息，确定所述N个连续视频帧分别对应的动作类别，包括： 根据所述待识别视频数据中N个连续视频帧对应的节点序列信息，生成三维张量，所述 三维张量包括视频帧维度、节点序列中节点维度和节点位置信息维度； 根据所述三维张量，通过卷积神经网络模型确定所述N个连续视频帧分别对应的动作 类别。 3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络模型包括第一子模型、 第二子模型和分类子模型，所述第一子模型用于根据所述三维张量确定在所述N个连续视 频帧的任一帧中所述交互对象的动作姿态特征，所述第二子模型用于根据所述动作姿态特 征确定在所述N个连续视频帧中所述交互对象的动作姿态随时间的变化规律，所述分类子 模型用于根据所述变化规律确定所述N个连续视频帧分别对应的动作类别。 4.根据权利要求3所述的方法，其特征在于，所述第一子模型中具有第一注意力模块， 通过所述第一注意力模块对所述第一子模型的引导，提高所述动作姿态特征中目标节点的 特