基于多流CNN-LSTM网络的群体情绪识别.PDFVIP

———————————————————————————————————————————————— 基于多流CNN-LSTM 网络的群体情绪识别 作者 卿粼波，熊文诗，周文俊，熊珊珊，吴晓红 机构 四川大学 电子信息学院 基金项目 成都市科技惠民资助项目（2015-HM01-00293-SF ）；中央高校基本科研业务费资助项目 （2015SCU04A11） 预排期卷 《计算机应用研究》2019 年第36 卷第1 期 摘要 群体情绪识别是人机交互领域的前言课题，针对群体情绪识别准确率的问题，结合卷积神经 网络（CNN）与长短期记忆网络（LSTM），提出一种多流CNN-LSTM 网络模型学习群体情绪 的静态和动态特征。以视频序列的原始图像、视觉显著图形和叠加的光流图像分别作为三个 通道的输入，利用 CNN 网络对空间特征和局部运动特征进行分析，得到的特征图直接输入 LSTM 网络，进行全局运动特征的学习。最后连接Softmax 分类器，对三个通道的Softmax 输 出进行加权融合，得到分类结果。实验结果表明，本文模型可有效地识别4 种典型的群体情 绪，且识别率高于已有算法，准确度（ACC）和宏平均精度（MAP）分别最高可达 82.6%、 84.1%。 关键词 群体情绪识别；卷积神经网络；长短期记忆网络；多流 作者简介 卿粼波（1982-），男，四川成都人，副教授，主要研究方向为图像处理、视频编码；熊文诗 （1993- ），女（通信作者），硕士研究生，主要研究方向为视频分析、视频编码 （xwen_shi@126.com）；周文俊（1992-），男，硕士研究生，主要研究方向为视频分析；熊 珊珊（1992-），女，硕士研究生，主要研究方向为视频分析；吴晓红（1970-），女，博士研 究生，主要研究方向为图像处理与模式识别、电子通信与系统． 中图分类号 TP391 访问地址 /article/02-2019-01-059.html 发布日期 2018 年1 月10 日 引用格式 卿粼波, 熊文诗, 周文俊, 熊珊珊, 吴晓红. 基于多流 CNN-LSTM 网络的群体情绪识别[J/OL]. 2019, 36(1). [2018-01-10]. /article/02-2019-01-059.html. 36 1 Vol. 36 No. 1 第 卷第 期 计算机应用研究 优先出版 Application Research of Computers Online Publication 基于多流CNN-LSTM 网络的群体情绪识别 * ? 卿粼波，熊文诗，周文俊，熊珊珊，吴晓红 (四川大学 电子信息学院, 成都 610065) 摘 要：群体情绪识别是人机交互领域的前言课题，针对群体情绪识别准确率的问题，结合卷积神经网络（CNN）与 长短期记忆网络（LSTM ），提出一种多流 CNN-LSTM 网络模型学习群体情绪的静态和动态特征。以视频序列的原始 图像、视觉显著图形和叠加的光流图像分别作为三个通道的输入，利用 CNN 网络对空间特征和局部运动特征进行分 析，得到的特征图直接输