基于肌电信号与IMU的沉浸式元宇宙交互手势识别与触觉反馈手套设计.docxVIP

PAGE2

基于肌电信号与IMU的沉浸式元宇宙交互手势识别与触觉反馈手套设计

摘要

随着元宇宙概念的快速发展，传统基于视觉和控制器的交互方式已难以满足沉浸式体验的需求。本文针对现有交互设备缺乏真实触觉反馈与手势识别精度不足的痛点，设计了一款基于肌电信号与惯性测量单元（IMU）的沉浸式元宇宙交互手势识别与触觉反馈手套。

本文首先分析了元宇宙交互场景下的具体需求，明确了多模态数据采集、低延迟手势识别与实时力反馈的核心指标。在总体设计阶段，构建了感知层、处理层与执行层相结合的软硬件协同架构，确保系统的高内聚低耦合。详细设计中，提出了基于滑动窗口的多模态特征融合算法，并设计了轻量化一维卷积神经网络（1D-CNN）进行手势分类，同时配合微执行器阵列实现触觉力反馈交互。

系统实现与测试结果表明，该手套能够稳定采集前臂肌电与手部姿态数据，手势识别准确率达到94.5%，端到端响应延迟低于50毫秒。本文的核心创新点在于提出了一种端侧轻量化多模态融合识别机制，并在保证高识别率的同时实现了低功耗的实时触觉力反馈，为元宇宙自然交互提供了有效的工程解决方案。

第一章绪论

1.1研究背景

近年来，元宇宙作为下一代互联网的终极形态，正受到学术界与工业界的广泛关注。沉浸感是元宇宙的核心特征之一，而自然交互是实现沉浸感的关键环节。当前虚拟现实（VR）系统主要依赖手持控制器进行交互，这种方式不仅限制了手部自