基于体感交互儿童认知类应用.docVIP

基于体感交互儿童认知类应用 　　摘要：现在的家庭对于孩子的早教越来越重视，市面上大量的早教启蒙书籍、玩具、应用程序被开发出来，帮助孩子“认字阅读”、“启蒙算数”、“增长知识”、“培养兴趣”等，因此体感交互设备也应运而生。基于此，本文围绕基于体感交互的儿童认知类应用进行了分析。 　　关键词：儿童；体感交互；设备；应用 　　一、 引言 　　随着技术的发展和生活方式的改变，计算机或移动设备辅助儿童教育，变得越来越普遍。而与这些设备之间的交互，一直受限于鼠标键盘或者触摸屏这些传统输入设备。同时，儿童容易对数字设备过于迷恋，长时间面对屏幕、保持不动的姿势、长期封闭在数字世界中不与外界接触，都会对儿童的身心健康带来不良的影响。而如果采用体感交互方式，让儿童像做游戏一样，可以在一个多人的环境中，用一种简单、自然、基于身体动作的方式来参与互动，对于一款面向儿童的娱乐认知类应用来说，会是非常适合的解决方案。 　　二、 体感交互概述 　　体感交互，起源于游戏行业，顾名思义，就是通过肢体动作、语言等来和系统进行互动的交互方式。作为一个革命性的技术，正在提供一种新的人机交互方式，为儿童应用软件设计打开了一个新的类型。随着健康生活的理念日益深入人心，这种自然、新颖、容易上手、结合娱乐与运动的交互方式，脱离了鼠标键盘和触摸屏的限制，打开身心，把身体从数字设备的束缚中解放出来，能够让儿童产生更高的学习积极性。因此，将体感交互技术融入到儿童认知类软件，具有非常重要的意义。 　　三、 案例构思 　　本文将列举的一款基于体感交互技术的儿童认知类应用，是一款以森林及其中各种动物为主题的互?佑蜗酚τ谩Ｓ蜗返纳杓扑悸肥牵和队霸谇缴系幕?面，展现出一个卡通风格的森林的景象，森林中隐藏着各种小动物，需要儿童站在大屏幕前，通过做一些动作来模仿某种动物的某个特征，如果动作做对了，就能将它们召唤出来，来到小朋友跟前和小朋友进行互动。这款应用的场景、动画、音乐，特别是交互方式，都大大增加了儿童学习的乐趣，减轻了儿童的认知负担，帮助儿童了解这些动物和植物，在娱乐的同时获得知识，达到寓教于乐的目的。借助肢体动作，摆脱了传统输入设备的限制，并能多人在大屏幕前同时参与，满足了儿童好动的天性，降低传统数字设备对儿童的身心伤害，使儿童无需坐在电脑前，减轻电脑辐射的同时实现了一定程度的运动健身效果。 　　四、 开发环境 　　在体感设备方面，早期的体感交互一般需要借助数据手套、3D头盔等穿戴式设备来实现。但随着机器视觉识别技术的发展，出现了直接利用深度摄像头获取人体骨骼和运动数据来实现人机交互的方法。其中之一有微软开发的体感设备Kinect。Kinect是微软在2010为XBOX360游戏机开发的体感外设。它具有即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。它不需要用户接触任何控制器，仅依靠相机捕捉三维空间中玩家的运动，还能辨认声音以接受语音指令。它的主要部件有：一个彩色摄像头、一个红外摄像头、一个红外投影仪、一组麦克风列阵列。彩色摄像头，用于获取视角范围内的彩色视频数据流；红外投影仪，用以投射波长为830纳秒的肉眼不可见空间结构光，只要向视角范围内的空间中打上这种结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置。红外摄像头则专门用于接受红外投影仪所投射出的这种结构光。麦克风阵列，由左边一个和右边三个独立的微型麦克风组成，主要用于捕捉外界的立体声，实现声音辨识，识别语音指令。由于Kinect一开始是作为XBOX360专用外设而开发，需要驱动程序和相关软件开发工具包的支持才能在PC上运行。可用的类库有Openni，KinectSDK，手势库NITE，Kinectmssdk等。我们使用的是微软官方提供的驱动程序和Kinect SDK v2.0。通过Kinect SDK能获取的数据包括：语音，彩色图像，深度图像，骨骼和关节数据（对每个人追踪25个关节点，可同时追踪6人）。 　　在开发引擎方面，目前主流的游戏开发引擎，有Cocos2D、Unity3D、虚幻等。每一款游戏开发引擎都有其独特的优缺点，只有深入了解引擎的开发环境和技术特点以及产品的表现力需要，并通过详细的分析和充分的比较后，才能选出一款合适的游戏引擎软件，来进行接下来的开发。首先本款应用的画面风格是2D卡通风格，另一个需要满足的需求是：能便利地接入Kinect SDK。而Unity3D恰好能很好地满足这两点。并且，Unity3D是一个非常成熟的游戏开发引擎，拥有大量的开发者，意味着有大量的讨论、学习资料、活跃的技术社区，还有大量的第三方插件和资源。Unity3D是一个原生三维引擎，但用它来制作2D游戏也是完全无障碍。因为在Unity中，2D