基于Kinect模拟和跟踪人体动作机械手臂.docVIP

基于Kinect模拟和跟踪人体动作机械手臂 　　摘 要：基于Kinect体感传感器的人体机械臂控制系统，实现捕捉分析并在五指机械手和仿真机械臂上同步模拟出人体手指和手臂的动作，以及实现机械臂顶端位置对人体部位的实时跟随，跟随间距误差在10cm内，延时误差0.5s以内。首先通过Kinect捕捉人手臂和手部RGB图像和红外图像分析，在嵌入式系统上位机上利用模式识别和红外、RGB图像识别来捕捉人体手臂和手指的位置参数，进行分析计算出相应的关节角度，通过以太网协议发送至舵机控制器，舵机控制器根据数据发送相应的驱动电流控制各舵机做出角度调整。本系统为精确的基于图像和红外传感器的机械手臂和手指控制提供了一个可行以及新颖的解决方案。 　　关键词：Kinect；手指识别；嵌入式系统；上位机；机械手臂 　　中图分类号：TP242；TP368 文献标识码：A 文章编号：1674-7712 （2014） 06-0000-03 　　一、引言 　　仿真机械臂一直是人体工程学和机器人领域的热点研究方向之一。高性能的仿真机械臂在医疗、救援、工业和教学等方面起着无可替代的作用[1]。目前的大型仿真机械臂使用的传感器结构复杂造价昂贵[2]，而民用的机械臂由大多通过设定的指令或操纵杆或者摄像头进行控制，精度低灵活性差。Kinect是微软公司推出的体感传感器，主要用于游戏领域，造价低廉，又配备有RGB光学摄像头和红外摄像头，可以提供超越普通摄像头的丰富数据和高精度。特别是其红外摄像头提供的三维深度数据，经过图像识别和模式匹配之后可以实现将人体和背景环境分离的效果，对于机械臂控制有很大的帮助。本文将Kinect传感器用于机械臂控制，实现了比较好的人体识别和机械控制效果。 　　系统总体方案整个系统由Kinect传感器，基于Windows Embedded的Atom平台工控主板，上位机程序，无线路由器，基于Atmel单片机的QSC32E舵机控制器以及6自由度4关节机械臂，五指仿真机械手等模块组成。 　　Kinect为微软公司2012年推出的Kinect For Windows传感器，上位机（基于Windows Embedded的Atom平台工控主板）和下位机（基于Atmel单片机的舵机控制器）通信通过使用TP-LINK TL-WR740N无线宽带路由器进行以太网通信，舵机控制器型号为32路QSC32E舵机控制器，机械臂为共配原件自行组装，舵机型号为Towardpro公司的MG996R。 　　系统框架结构如图1所示。系统的工作原理如下：（1）操作者对着Kinect传感器做出手部和手臂的动作，由Kinect传感器（2）捕捉后交由嵌入式平台（3）上的上位机进行处理，进行建模并计算出每个舵机应该调整到的角度，通过无线输出通讯数据到舵机控制器（4），（4）上的单片机和控制电路根据命令输出不同占空比的PWM方波到机械手（5）上的指部关节舵机和机械臂（6）上的肘部关节舵机以实现角度调整，模拟人体动作。 　　二、系统软件设计和实现 　　系统软件结构主要由嵌入式平台上的上位机软件程序和舵机板上的下位机软件程序组成。上位机软件程序主要有基Open NI和Nite的图像源数据采集模块，三维立体仿真模块，基于C# GUI的图像编程模块和基于C#的通讯模块和无线传输模块组成。下位机软件由以太网接收模块，单片机命令解释模块和舵机控制模块组成。以下对各部分的设计及其实现进行详细介绍。 　　基于Open NI和Nite的图像源数据采集模块：采用开源的Open NI和Nite项目实现精确的指部和手臂图像源数据采集，平台为Visual Studio2010， 基于C#语言开发。用于获取Kinect传感器生成的实时摄像头RGB数据和红外摄像头获得的三维深度数据，基于图像识别和模式匹配分离并处理出手指和手臂关键节点的位置数据，并且对照机械臂实物模型计算出每个舵机的角度数据。 　　三维立体仿真模块：基于Java3D进行机械手和机械臂的实物建模，并对上个模块的数据进行仿真分析调试，以期在调试阶段更少的设计实物交互，减少调试风险和难度。 　　基于C# GUI的图像编程模块：基于C# GUI编程的上位机程序，将处理后的手臂数据实时绘制出来，使得使用者实时看到抽象的手臂模型。 　　基于C#的通讯模块，无线发送模块和以太网接收模块：基于C#的通讯模块，根据预订的协议将所有的角度数据编码成字符串，交由基于TCP/IP协议的无线射频模块传输至舵机控制器。 　　单片机命令解释模块和舵机控制模块：基于C++程序语言开发，解释指令字符串并生成相应的控制方波，通过RS232串行通信的方式将接收模块所接收的数据发送给相应的舵机，控制舵机进行相应的转动。 　　系统软件框架结构如图2所示。 　　（一）利