基于多模态融合的听障人群实时会议字幕情感增强可视化设计.docxVIP

PAGE2

基于多模态融合的听障人群实时会议字幕情感增强可视化设计

摘要

听障人群在实时会议沟通中高度依赖文本字幕，但传统纯文本字幕缺失语音中的情感维度，导致沟通体验碎片化与信息失真。本课题旨在设计一款基于多模态融合的实时会议字幕情感增强可视化系统，通过结合语音声学特征与文本语义特征，将抽象情感映射为动态视觉参数，提升听障群体的共情沟通体验。

本文遵循工程递进思路展开。首先，通过需求分析明确听障用户对情感补偿与低认知负荷的核心诉求；其次，进行总体设计，构建包含数据接入、情感计算、视觉映射与交互展示的四层架构；再次，在详细设计中深化多模态情感融合算法与动态排版渲染逻辑；最后，完成系统实现与全面测试。系统核心创新点在于提出跨模态情感对齐机制与情感-视觉动态映射模型，将情绪强度与类别转译为色彩、动效与字重等视觉属性，为信息无障碍设计提供新范式。

第一章绪论

1.1研究背景

随着数字化办公的普及，实时线上会议已成为日常协作的核心场景。然而，听障人群在此场景中面临严重的沟通壁垒。他们主要依赖实时字幕获取信息，但传统字幕系统仅提供冰冷的文本转写，完全剥离了说话者的语气、停顿与情绪起伏。

这种情感信息的缺失极易引发语义误解。例如，当说话者以反讽语气表达时，纯文本字幕往往传递相反的意图，导致听障用户产生认知偏差。现有方案在功能上停留在“听见即转写”的机械层面，在体验上忽视了“听懂即共情”