基于Kinect儿童体感交互式多媒体电子书及其学习平台研发.docVIP

基于Kinect儿童体感交互式多媒体电子书及其学习平台研发 　　【摘 要】用Kinect体感硬件构建的人机交互系统可用手势、体态、语音等非接触的自然方式与机器打交道，为交互者提供多感觉通道的自然临境体验，因此，Kinect在教育领域的人机交互学习系统中的应用研究如火如荼。文章在精要分析Kinect的结构特性及其体感人机交互机理的基础上，详细论述了基于Kinect的儿童体感交式互多媒体电子书及其学习平台的结构功能、系统模型、体态捕捉与识别、体态数据库的构建、学习内容的设计及其开发工具与实现。 　　【关键词】Kinect；体感人机交互；学习平台；多媒体科普电子书；研发 　　【中图分类号】G40-057 【文献标识码】B 　　【论文编号】1671-7384（2013）07/08-0096-06 　　所谓“体感交互”，就是指人能够以身体最自然（比如手势、体态、表情、语音等）的方式与终端进行信息的交互并完成互动，这是真正意义上的“自然人机交互”。 　　体感交互技术代表着人机交互技术的发展方向，体现了对人的因素的重视，给人“充分的自由”，标志着人机交互技术从“人适应计算机”向“计算机不断地适应人”的方向发展。传统的人机交互技术构建的交互界面事实上成为隔离物质世界和信息世界之间的屏障[1]。微软公司新近推出的Kinect体感硬件及其交互技术的广泛应用，能有效地消除物理对象和抽象对象、输入装置和输出装置在交互空间中的差别，为人提供多感觉通道的自然临境体验，从而使交互系统能够根据上下文及人的特点主动识别人的身体姿态、手势、语音和表情等各种自然行为，进而判断出人的意图。交互系统的使用和操控更加符合人的习惯，人可以用手势、表情、语言、文字、图像等自然方式与交互系统打交道，恰如与他人交流一样自然。因此，Kinect深受IT教育领域的青睐，Kinect在教育领域的人机交互系统中的应用研究如火如荼。 　　本文根据课题研究成果，在精要分析Kinect的结构特性及其体感人机交互机理的基础上，详细阐述基于Kinect的儿童体感交式互多媒体电子书及其学习平台（Basic On Kinect Posture Interaction learning System for Children，以下简称KPILSC）的结构功能、系统模型、体态捕捉与识别、体态数据库的构建、学习内容的设计及其开发工具与实现。 　　Kinect的结构特性及其体感人机交互机理 　　Kinect工作时，首先是以红外线发出人眼看不见的Class 1雷射光，透过镜头前的光栅扩散片（Diffuser）将雷射光均匀分布投射在侦测空间中，再透过红外线摄影机记录下空间中的每个散斑，撷取原始数据后，透过晶片计算成具有3D深度的图像[3]，然后将侦测到的3D深度图像转换到骨架追踪系统。目前该系统最多可同时侦测到6个交互者的精确位置，并同时辨识2个交互者的动作；每个交互可记录包含躯干、四肢以及手指等追踪范围的20组细节，实现全身体感交互操作[4]。 　　KPILSC的结构功能 　　1. KPILSC的基本结构 　　KPILSC是一套运行在X86架构的PC机及Windows操作系统环境中，采用Microsoft Kinect体感硬件，借助Kinect捕捉交互者实时深度图像视频流与人体骨骼点追踪的功能及其人体骨骼数据库和体态捕捉与识别算法，通过人体动作捕捉与识别而实施的儿童体感交互式学习平台。 　　2. KPILSC的基本功能 　　在KPILSC平台中可以根据儿童的学习需要设计与开发一系列体感交互式学习产品。比如，（1）开发自然和谐的交互式科普实验室：让儿童在虚实结合的实验室中以手势互动方式解剖青娃、制作氢气、驾驭太空飞船等。（2）构建实时虚拟交互学习课堂：有效地实现学习内容中虚拟世界的事物和儿童周围真实环境的结合，加上体感隔空的互动方式，符合儿童天真、好动的心理，使其脱离呆板的学习模式，全身心融入到学习内容之中，促进其手眼协调，开发其智力、锻炼其脑力，促进儿童绿色地学习与健康成长。（3）制作交互式多媒体电子书：将科普图书中原本用文字描述的情节转换为具象、活灵活现的科普立体场景，儿童采用手指隔空翻页：五指张开，页面放大；手上下挥动，页面移动；双手合拢，页面关闭……使儿童在更加自然的操控界面中进行更加自然的人机交互学习。 　　采用KPILSC学习平台可有效地使儿童实现以下自然和谐的创新交互学习模式： 　　（1）实现以儿童为中心（Children-Centered）的多模态交互学习 　　KPILSC以儿童对人机交互的需求变化为出发点，充分利用人类多种感觉和效应通道的互补特性[5]，使之可选择地、充分地并行和协作来捕捉儿童的交互学习意图，从而增进儿童交互学习的自然性，交互学习时实现人机交