基于Kinect增强现实技术的科技馆展品设计与实现-自然科学博物馆研究.PDFVIP

基于 Ｋｉｎｅｃｔ增强现实技术的科技馆展品设计与实现 李大为　 刘　 昊① 【摘要】 本文通过对体感交互技术的工作原理、 体感交互设备Ｋｉｎｅｃｔ发展现状和编程算法的研 究ꎬ 探讨其在科技馆互动展品设计与制作领域的发展趋势和应用前景ꎮ 在展品设计中实现了一 个人机互动原型系统ꎬ 利用Ｕｎｉｔｙ３Ｄ作为引擎构建交互平台ꎬ 以Ｃ＃语言为桥梁连接Ｋｉｎｅｃｔ、 网 络摄像头等交互设备ꎬ 实现体感交互ꎬ 改进互动科普展品设计方案ꎬ 对科普形式进行多元化、 多感官的创新探索实践ꎮ 力求实现从 “被动科普” 到 “主动科普” 的转变ꎮ 【关键词】 Ｋｉｎｅｃｔꎻ 增强现实ꎻ 展品设计 　 　 体感交互作为２１世纪最为热门的人机交 者研究的热门话题ꎬ 而将 Ｋｉｎｅｃｔ 与增强现实 互方式之一ꎬ 近年来得到了迅猛发展ꎬ 继鼠 技术结合并用于科技馆互动展品设计更是研 标和多点触摸技术之后ꎬ 体感交互或将引领 究的热点ꎮ 第三次人机交互革命ꎮ 体感交互通常需要运 动追踪、 手势识别、 运动捕捉、 面部表情识 一、Ｋｉｎｅｃｔ体感技术介绍 别等一系列技术支撑ꎮ 与其它交互手段相比ꎬ Ｋｉｎｅｃｔ[１][２]是微软公司针对游戏主机 当前的体感交互技术无论是在硬件方面还是 Ｘｂｏｘ３６０ 推出的一款体感输入设备ꎬ 具有即 软件方面都有了较大提升ꎮ 交互设备的体积 时动态捕捉、 影像辨识、 麦克风输入、 语音 越来越小ꎬ 越来越便携ꎬ 使用起来也更加简 辨识、 社群互动等功能ꎮ Ｋｉｎｅｃｔ 设备主要包 便ꎬ 同时在交互过程中不需要发生直接接触ꎬ 括ＲＧＢ 摄像头、 ３Ｄ 深度传感器、 数组式麦 大大降低了对用户的约束ꎬ 提高了人机交互 克风三个组成部分ꎮ 其中ＲＧＢ 摄像头用来获 的沉浸感ꎬ 使得交互过程更加自然ꎮ 增强现 取６４０ⅹ４８０ 的彩色图像ꎬ 针对人体关键进行 实技术 (ＡＲ) 是计算机将生成的虚拟物体和 骨骼追踪ꎮ ３Ｄ 深度传感器又包括红外发射器 场景投射到真实的场景中ꎬ 并与周围环境发 和红外线 ＣＯＭＳ 摄像机ꎮ 麦克风阵列用于降 生互动从而实现对现实的 “增强” 的一门技 噪和语音识别ꎮ 并且 Ｋｉｎｅｃｔ Ｖ２ 能取得２５个 术ꎬ 它更强调虚拟与现实的结合即 “虚实结 骨骼点ꎬ 比上一代增加了５ 个ꎬ 分别是头、 合”ꎬ 近年来ꎬ ＡＲ和 Ｋｉｎｅｃｔ 都成为众多研究 左指尖、 右指尖、 左大拇指和右大拇指ꎮ 其 ① 李大为: 中国科学技术馆网络工程师ꎻ 研究方向: 电子信息化展品设计开发、 大数据处理、 Ｗｅｂ应用开发ꎻ 通 讯地址: 北京市朝阳区北辰东路５号ꎻ 邮编: １０００１２ꎻ Ｅｍａｉｌ: ｌｉｄａｗｅｉ＠ｃｓｔｍｏｒｇｃｎꎮ 刘　 昊: 中国科学技术馆网络工程师ꎻ 研究方向: 数字化科普教育ꎻ Ｅｍａｉｌ: ３８００８９２４３＠ｑｑｃｏｍꎮ １２４ 彩色为 １０８０Ｐꎬ 深度摄像头为５１２ⅹ４２４ꎬ 能 模型相对照ꎮ 每一个符合内部已存人体模型 识别６个人的骨骼ꎬ 识别稳定精度高ꎮ 的物体就会被创造成相关的骨骼模型ꎬ 系统 其工作原理是ꎬ Ｋｉｎｅｃｔ 借助 ＰｒｉｍｅＳｅｎｓｅ 再将该模型转换成虚拟角色ꎬ 该角色通过识 软件和摄像头侦测、 捕捉用户手势动作ꎬ 然 别该人体骨骼模型的关键部位进行动作触发 后再将捕捉到的影像与本身内部存有的人体 (如图１所示)ꎮ 图１　 ＫＩＮＥＣＴ 工作原理 　 　 Ｋｉｎｅｃｔ 程序流程 (如图２ 所示) 包括: 转化为图像类型ꎮ 分析跟踪状态对应 Ｋｉｎｅｃｔ￣ 初始化、 获取图像、 分析跟踪状态、 显示图 ＪｕｄｇｅＴｒａｃｋ ()