基于多模态融合的智能家居人体行为识别系统设计与实现.docxVIP

PAGE2

基于多模态融合的智能家居人体行为识别系统设计与实现

摘要

随着人口老龄化与居家健康监护需求的日益增长，智能家居环境下的无感、精准行为识别成为研究热点。单一模态传感器在复杂场景中易受光照、遮挡或个体差异影响，导致识别精度下降。本课题设计并实现了一种基于多模态融合的智能家居人体行为识别系统，融合视觉摄像头与可穿戴惯性传感器数据，实现日常行为的高鲁棒性识别。系统采用多级融合架构，在特征层与决策层协同处理异构数据流，支持12类居家常见行为识别，目标准确率高于95%。

论文首先分析了智能家居行为识别的现实痛点，明确系统功能与非功能需求。在此基础上，设计了包含数据采集层、特征提取层、融合识别层与应用服务层的总体架构，并对各功能模块进行了详细划分。随后，深入阐述了视觉骨骼点提取、惯性信号预处理、时空特征编码及多模态注意力融合等核心模块的详细设计。系统基于PyTorch深度学习框架与FlaskWeb服务框架实现，部署于边缘计算节点，兼顾实时性与隐私保护。测试结果表明，系统在公开数据集上达到96.3%的识别准确率，在真实居家场景中表现稳定，响应延迟低于300毫秒。本课题的创新点在于提出了一种轻量级跨模态注意力融合网络，有效提升了遮挡场景下的行为识别鲁棒性，为智能家居主动感知与人机交互提供了可行的解决方案。

第一章绪论

1.1研究背景

随着物联网、人工智能与传感器技术的飞速发展