虚拟场景与自然交互技术融合研究与设计.pdfVIP

江汉大学硕士研究生学位论文 第Ⅰ页 摘 要 虚拟场景与自然交互融合是一门综合多学科的新技术研究领域，它被广泛的 应用到医疗、教育和娱乐等行业。其研究主要集中在两个方面：一方面是运用计 算机视觉和体态分类方法研究；另一方面是研究虚拟场景设计中体态识别方法和 抗干扰方式。目前主要存在的问题是自然交互的高效性与虚拟场景的融合性。 本文提出基于机器学习和空间几何算法匹配的手势、姿势识别方法解决自然 交互效率问题；提出基于彩色数据和深度数据结合的方法解决人体与虚拟场景融 合问题；最后在虚拟现实软件Unity3D 和深度传感器 Kinect 的开发环境下，设 计并实现了虚拟场景与自然交互融合系统，验证了本文技术方案的可行性与有效 性。本文主要包括以下四个方面的工作。 （1）根据虚拟场景自然交互系统功能的需求，实现了虚拟场景中三维模型 和二维场景元素典型性案例开发。使用3DMax 软件构建飞鸟和蝴蝶模型，建立 骨骼父子关系，使用蒙皮技术完成振翅飞行动作设计；导入Unity3D 对模型进行 开发脚本的绑定，设计基于AI 的智能飞行算法，实现飞鸟的自然群组飞行效果； 创建太阳、火把等三维虚拟场景模型，实现碰撞检测、重力效应等动态效果，完 成了虚拟场景自然交互系统开发环境的构建。 （2 ）利用彩色数据和深度数据的配合，实现自然环境下人体与虚拟场景的 融合，弥补了常见绿幕背景的局限。针对滤波降噪后人体区域深度图像边缘分割 效果较差的问题，提出均值滤波和Side Window Filtering 算法思想相结合的降噪 处理方法，避免了图像边缘信息的损坏，结合二值化和形态学梯度操作，增强边 缘分割效果。通过深度图像坐标系和彩色图像坐标系的转换，将人体融入虚拟场 景。 （3 ）使用Kinect Studio 采集含有手势、姿势的样本数据，通过将采集的样 本数据在 Visual Gesture Builder （VGB ）中进行机器学习训练，完成滑动、抓取、 移动等自定义动态手势的识别；基于骨骼数据的空间几何算法进行匹配，完成自 定义动态手势、姿势识别；对不同背景和光照条件下的识别率进行测试与分析。 （4 ）基于Unity3D 设计虚拟场景自然交互系统来测试本文方案的有效性和 可行性，主要包括二维、三维虚拟场景交互、自然手势识别、人体与虚拟环境的 融合。真实人体融入虚拟场景，加入逻辑规则，实现手部和二维元素的碰撞交互， 并以火把、蝴蝶等为例对抓取、放下、移动等自然交互功能进行测试。 虚拟场景与自然交互融合是当前的热门研究领域之一，将真实环境下人体与 虚拟场景实时互动，极大地增加了用户的真实感、体验感与趣味性。本文研究为 相关设计提供了一种可资借鉴的思路、方法与范例。 关键词：自然交互；手势识别；虚拟场景；机器学习 江汉大学硕士研究生学位论文 第III 页 ABSTRACT The fusion of virtual scenes and natural interactions is a comprehensive multidisciplinary new technology research field, which is widely used in medical, education and entertainment industries. Its research mainly focuses on two aspects: on the one hand, using computer vision and body classification methods; On the other hand, it studies body posture recognition methods and anti-interference methods in virtual scene design.