一种基于语音及图像特征的异常行为识别方法、装置及设备.pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 111460889 A (43)申请公布日 2020.07.28 (21)申请号 202010123166.8 G06Q 40/02(2012.01) G06Q 50/26(2012.01) (22)申请日 2020.02.27 (71)申请人 平安科技（深圳）有限公司 地址 518000 广东省深圳市福田街道福安 社区益田路5033号平安金融中心23楼 (72)发明人 雷宇泽　陈远旭　周宝　骆加维　 廖智　 (74)专利代理机构 北京中强智尚知识产权代理 有限公司 11448 代理人 黄耀威 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 权利要求书3页 说明书13页 附图4页 (54)发明名称 一种基于语音及图像特征的异常行为识别 方法、装置及设备 (57)摘要 本申请属于人工智能领域，公开了一种基于 语音及图像特征的异常行为识别方法、装置及设 备，利用经过学习训练后得到的人体特征提取模 型对用户的图像进行特征提取得到待识别的图 像特征向量，然后对用户的语音进行特征提取得 到待识别的语音特征向量，再将待识别的图像特 征向量和待识别的语音特征向量进行交叉融合 后得到待识别的融合特征向量，利用卷积神经网 络经过学习训练得到的异常行为识别模型对待 识别的融合特征向量进行处理判断用户的动作 是否属于异常行为，如果是证明该用户属于危险 A 人员，启动对应的拦截功能对该用户进行拦截。 9 这样能够更加快捷准确的识别行为异常的用户， 8 8 0 有效提高了企业的安全系数，对企业的用户的安 6 4 1 全提供了有效的保障。 1 1 N C CN 111460889 A 权　利　要　求　书 1/3页 1.一种基于语音及图像特征的异常行为识别方法，其特征在于，所述方法的步骤包括： 当检测到用户进入识别区域后，控制摄像头获取用户的待识别的动作图像，同时启动 录音结构，录制预定时间的待识别的语音； 对所述待识别的动作图像进行特征提取，得到待识别的特征矩阵； 利用人体特征提取模型对所述待识别的特征矩阵进行处理，得到对应的待识别的图像 特征向量； 对所述待识别的语音进行文本特征提取，得到待识别的语音特征向量； 将所述待识别的图像特征向量和所述待识别的语音特征向量进行交叉融合得到待识 别的融合特征向量； 将待识别的融合特征向量输入至异常行为识别模型中进行处理，输出对应的人体动作 类别，以及所述人体动作类别是否属于异常行为。 2.根据权利要求1所述的方法，其特征在于，在所述利用人体特征提取模型对所述待识 别的特征矩阵进行处理，得到对应的待识别的图像特征向量之前，所述方法还包括： 获取多个表示各种人体动作的样本图像，对每个样本图像标注对应的人体动作标签； 对多个样本图像中的每个样本图像分别进行特征提取，得到多个样本特征矩阵； 构建五层时空卷积网络，将所述多个样本特征矩阵依次输入所述时空卷积网络的前三 层进行处理，将得到多个一维特征向量传送给所述时空卷积网络的后两层进行识别处理， 输出与每个样本图像对应的样本人体