基于视觉智能电子宠物.docVIP

基于视觉智能电子宠物 　　摘要：本项目将当前热门的感知计算技术应用到电子玩具这一领域，开创性地设计了一个可以与主人进行丰富多样的感性交流的电子宠物。以Intel 3D摄像头和Baytrail平台为核心，侦测主人的表情、手势、语音等，实现了与主人进行感性互动的交流，为用户带来了简单方便、人性贴心的全新体验。本文网络版地址：http：///article/266052.htm 　　关键词：感知计算；视觉；互动；电子宠物 　　DOI： 10.3969/j.issn.1005-5517.2014.11.009 　　1 创意来源 　　随着电子技术的进一步发展，电子宠物逐渐走入人们的家庭生活中，目前市面上相对成熟的电子宠物主要有两大类：一类是生活在电子设备中的虚拟宠物，没有任何的机械结构，纯粹通过电子设备与之进行交互；另一类是具有一定机械机构的电子宠物，具有触觉等功能，但由于其与逼真宠物外形想像的特性，交互方式也相对缺乏。 　　如今感知计算技术大为盛行，它重新定义了人与设备的沟通方式，通过更适合人类的沟通方式比如语言、表情、动作等，让设备感知人类的意图，智能分析人类的行为。 　　我们的作品，就是基于这一热门技术，将感知计算应用到电子宠物身上，充分利用了感知计算的先进特性，实现了一个通过手势、表情、语言与使用者进行感性互动的智能型电子宠物。具有如此丰富、生动交互方式的电子宠物，无疑会给使用者带来全新的体验。可以想象，一个比真实宠物更加方便、卫生、更加懂主人意思的智能电子宠物，无疑会引起广大宠物爱好者的极大兴趣，成为我们现代化家庭的重要一员。 　　2 关键技术 　　2.1 视觉处理程序 　　我们的项目采用的是Intel Creative Senz3D摄像头，Creative Senz3D是Intel公司为感知计算技术开发的3D景深摄像头。我们用3D摄像头作为宠物的眼睛，是整个系统最核心的部分，实现与周围环境的交互，支持人脸识别，表情识别和手势识别。我们借用了配套的Intel perceptual computing SDK中提供的一些表情识别、手势识别、人脸识别等模块，用线程来分别管理。当3D摄像头捕捉到图像数据后会分析然后开启线程执行上述三个模块中的一个，然后把识别结果返回给服务器，让服务器完成接下去的工作。 　　2.2 服务器 　　我们把服务器放在了Baytrail开发板上。服务器作为与每个子模块沟通的桥梁，它的主要作用是一个数据中枢，它接收摄像头的识别结果，然后根据情况选择通过socket发送给手机，或用串口发送给Arduino开发板，协调各个部分的工作。同时，服务器要求具有一定的鲁棒性，它需要能够检测各个部分是否正常工作并进行纠正。 　　2.3 Android移动应用 　　手机APP显示的是宠物的脸，它承载的是宠物向用户做出表情以及声音的输出，它会根据服务器发来的指令变换自己的表情，与用户所做的表情同步，与用户进行交互，同时用户做的表情会对宠物自身的心情值产生影响，当心情值足够高时，即使没有外界刺激，宠物也会做出开心的表情。这一部分的主要实现方式是Android套接字（Socket）编程和异步消息处理机制，实现与服务器Baytrail开发板的通信，接收服务器发来的控制命令并返回反馈数据。表情切换用Android活动的切换来实现，表情显示用Android Canvas类进行图片播放来实现。 　　2.4 离线语音识别 　　语音识别主要模仿宠物的听力，当宠物识别出一些命令词时会产生一些回应动作。比如听到“过来”，宠物会原地转动直到3D摄像头找到用户的脸，然后通过识别脸部的景深位置逐渐靠近用户和修正行进方向，最后到达用户面前。当听到“跳舞”时，宠物跟随着用户的手势“翩翩起舞”。这一部分的实现方式是使用了科大讯飞语音识别引擎，结合Android应用的控件，完成语音的录音、识别和命令发送的过程，丰富了交互方式。 　　2.5 机械结构 　　因为机械臂等结构的实现比较复杂，所以我们用了一个Arduino小车来作为电子宠物的“腿”，用小车的各种前后左右运动模拟宠物的动作。Arduino小车的控制主要通过编程实现，电路板产生四路PWM方波输出，控制电机的前后转动，使得小车做出各种运动。Arduino小车与服务器的通信采用串口实现。 　　3 应用前景 　　随着近几年移动智能技术的发展，我们开始步入智能化，生活中，智能手机和个人电脑已经成了人们离不开的帮手，其它的诸如智能冰箱等智能家居系统也给人们的生活带来了很大便利。那么，在家庭宠物娱乐方面是否也能做到智能化呢？答案是肯定的，我们的电子宠物就实现了这一想法。电子宠物市场前景广阔，相比于传统宠物，电子宠物不必主人精心呵护，而且更加干净卫生，便于照料，许多商家也推出了自