人手与虚拟型的交互技术应用研究.pdfVIP

摘要 摘 要 增强现实(AR)技术是一种将计算机渲染生成的虚拟信息有机融合到使用者 观察到的现实世界中，以对人的视觉体验进行丰富和增强的技术。近年来基于 AR技术的软件系统开始被应用于科技馆、博物馆、课堂等诸多的教育场所中， 其中绝大部分是基于人工标识的交互技术，虽然其发展已经非常成熟，但仍具有 易用性差和沉浸感差的不足。以人为中心的人机交互是计算机技术未来发展的方 向，基于人手的交互可以有效的提高人机交互的易用性和沉浸感。 本文的研究目标是通过分析和改进国内外的相关技术，设计并实现一个人手 与AR系统中虚拟模型的交互系统，并将其应用于科技馆环境下的恐龙科普知识 展示。其核心是通过对单手单指的指尖点定位与跟踪，判定其2D坐标与AR系统 中标识的中点2D坐标的距离关系，实现人手与虚拟模型在真实情景下的实时交 互。本文的具体工作包括以下几个方面： (1)本文以应用于中国科学技术馆的恐龙知识展项实际开发需求为基础， 提出了一个人手与虚拟模型交互系统的设计方案，该系统基于AR技术，同时将 基于人手的交互方法无缝融入其中。通过采用模块化的方案设计，使其具有了一 定的可移植性和适用性。 (2)依据设计方案开发出了基于标识交互的前期验证系统，使用标识模拟 人手的交互动作，探索并确定了适用于科技馆环境和青少年受众的交互语义：对 模型的“拾取”、“拖动”和“放置”。为后期将人手识别整合入AR系统提供平台。 (3)确定了使用单手单指竖直伸出作为交互姿态，通过对国内外近期手势 识别设计与实现方案的研究，对各种算法进行实验、比较、选择和优化，在实用 的前提下改进算法的精确性和运行效率。通过肤色区域分割、人手区域轮廓确定 和指尖点的确定三个步骤计算出指尖点在实时画面中的2D坐标，使用其与标识 中点2D坐标的距离关系判断作为交互的核心技术，实现指尖点对虚拟模型的“拾 取”、“拖动”和“放置”交互动作。将人手与虚拟模型交互接口整合入前期验证 系统，替换标识交互接口。最终对完成的系统进行测试与性能分析。 关键词：增强现实，人手识别，人机交互 Absnact Abstract aIdlldof wllich Vinualinfo姗ation Au肿吼tedReal时(AR)istechnologyintegrates relldered aIldrealworldinthe te e商ches by廿1ecomputers users’eyes．Tllisc：11Ilology aIld meVisual oflnHnall．Inrecent soRware s仃eIlgthells eXp耐eIlce yearS，the systelll based0nAR has usediIl educationalestablisllIIlentssuchas tec：hnologybeiIlg many t11eScienceand muse啪orme ofw11ich TbChn0109yMuSeum，me ClaSsroom，most are baSed0nⅡle硫era砸Ve ofani6cial haveme te咖10109y madkers．neyshortages of10weri111mefsion hardto feelillg锄dusiIlg．People-centeredhlunan—computer iIlteraCtionis me鼬edirectionof ofc0Inp毗ertechnology；