基于单目跟踪―神经网络分类算法的手势识别.docVIP

基于单目跟踪―神经网络分类算法的手势识别 　　摘要：随着人工智能的发展，具有用户界面的空中机器人逐?u普及大众。手势是人类沟通的直观方式，各研究工作都致力于利用自然的手势控制空中机器人。但是，由于该方面的技术还未成熟，尚未解决存在的长久问题。例如从设计角度选择手势的原则，从硬件角度考虑硬件的要求，考虑数据的可用性以及从实际角度考虑算法的复杂性。因此本设计考虑了实际的场景、硬件成本以及算法的适用性，致力于建立一个经济的单目系统，设计简洁直观的手势，将其映射到丰富的目标方向并实现微调。 　　关键词：手势识别；单目跟踪；神经网络 　　中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）12-0221-04 　　Abstract： With the development of artificial intelligence， aerial robots with user interface are becoming popular among general. Hand/arm gestures are an intuitive way to communicate for humans， and various research works have focused on controlling an aerial robot with natural gestures. However， the techniques in this area are still far from mature and many issues in this area have been poorly addressed. For example， there are the principles of choosing gestures from the design point of view， hardware requirements from an economic point of view， consideration of data availability， and algorithm complexity from a practical perspective. The work has jointly considered practical scenarios， hardware cost and algorithm applicability and focused on building an economical monocular system particularly designed for gestures. In addition， natural arm gestures are mapped to rich target directions and convenient fine adjustment is achieved. 　　Key words： gesture recognition； monocular tracking； neural network 　　1 引言 　　近年来，人机关系逐渐出现转折点，即从“人适应机器”到“机器对人的适应”。随着人工智能和计算机视觉的发展，大量的研究工作集中于利用手势控制控制机器人，类似控制宠物。因此，基于空中机器人的手势识别是一个很有前景的研究领域。 　　目前基于手势识别的机器人研究不尽相同[1-5]。从设计角度来看，不同手势适用于不同的控制命令。绝大部分设计将手势识别视为分类问题，其中只有少数设计将手势识别后映射成控制命令。由于机器人可以在多环境下执行多样的操作，因此本算法专注于特定场景，实现为某些常用操作量身定制的设计。例如，设计“拍照”动作的手势，必须考虑系统可能需要处理多人紧密靠近的场景，并决定接收命令和和实际操作之间的适当延迟；设计“指挥机器人转动方向”的手势时，必须考虑足够复杂的手势以确保不会被意外触发。 　　本文提出基于单目的手势控制算法，该算法专用于驾驶空中机器人。算法设计综合考虑飞行场景、人类的自然手势、用户期望的飞行器操作以及空中机器人不同目标方向之间的命令转换。该设计不仅实现人机如同宠物般愉快地交互，而且还帮助用户在某些场景中摆脱笨重的控制器。 　　如图 1所示本文手势识别算法的流程图。跟踪静态帧中的目标，根据人体与手臂的比例，提取出固定大小的感兴趣区域（Region Of Interest， ROI）。之后将ROI经过三次高斯下采样，利用卷积神经网络cifar10进行手势识别；最后总结多帧的识别结果从而产生可靠的命令。本文其余部分的安排如下：第2节介绍设计的手势以及产生的相应命令