复杂场景下多模态情感识别的数学建模与算法设计.docx

2026年中国研究生数学建模竞赛E题

复杂场景下多模态情感预测的数学建模与算法设计

一、背景

情感分析是具身智能、自然人机交互等技术领域的关键支撑技术之一。真实交互中人类情绪通过文本语义、语音韵律、面部表情与肢体动作等多通道信号协同表达，多模态信息联合建模是突破单模态识别局限、提升复杂场景下情绪理解准确性与稳定性的核心路径。然而，多模态情感预测在落地中面临三重挑战：文本、语音、视觉模态在采样频率、特征维度与时间尺度上差异显著，特征提取与时序对齐的质量直接决定模型性能上限；实际采集常因画面遮挡、环境噪声、转写失败等导致模态局部缺失，常规固定权重融合模型性能急剧下降；多数模型仅能输出预测结果，决策