开题技术分析.ppt

上海电力学院硕士研究生开题报告 汇报人：葛艳茹 指导教师：张国伟 基于kinect传感器的移动机器人控制研究 汇 报 提 纲 1 2 3 4 研究的背景与意义 研究的目标和内容 研究的方法与思路 研究的成果与安排 1 研究的背景与意义 研究背景 1.现在机器人已经越来越多的出现在人们的工作和生活中。 2.目前机器人的操控方式却不乏单调,传统意义上的控制基本上是通过遥控器,按钮,操作手柄来实现的。鼠标、键盘还是触摸屏,这些硬件输入设备均利用的是人类的触觉通道,与计算机系统输出信息的丰富表现形式并不对等。 3.手势是自然人机交互过程中一个不可或缺的交互通道，具有操作简单、容易理解、语义丰富的优点, 具有广阔的应用前景和重要的研究价值。 4.Kinect 作为一个革命性的产品，正在提供一项全新的人机交互的方式。 1 研究的背景与意义 研究背景 传统机器人的控制方法单调,传统意义上 的控制基本上是通过遥控器,按钮,操作手柄来 实现让机器人前进、后退、左转右转以及大臂 小臂手爪的各种动作，必须通过接触才能实现。 没有很好的实现人机交互。 图1.移动机器人 Kinect传感器 kinect主要由红外发射器A、彩色摄像机C、红外摄像机D、加速度传感器E, 可旋转马达K以及麦克风阵列FGHI组成，可同时获取 RGB 彩色图像和深度图像。红外线发射器发出一道红外散斑覆盖整个摄像头的可视范围，摄像头组接收反射光线来分析得出拍摄场景中物体的深度信息。红外传感器捕获到的返回红外会与发射时的红外模板情况不同, 通过同存储在内部的模板进行匹配,得到每个象素的深度值。 图2.kinect传感器 研究意义 1 研究的背景与意义 现实意义 1.简单方便地操纵机器人,向机器人发布命令,与机器人进行交互。 2.Kinect体感控制也可以 开发手势翻译系统,帮助有语言障碍的群体进行语言翻译; 3.Kinect是微软公司近年推出的一款较为成熟的商业人体动作感知设备,是目前进行新型人机交互手势识别研究的较好选择。 理论意义 基于kinect的机器人控制的研究，利用Camshift算法计算手势跟踪窗口的位置和大小，并用Kalman滤波预测手心位置，有效的解决了背景中大面积肤色干扰和手势部分被遮挡的问题，使体感控制更精确。 研究现状 1 研究的背景与意义 国外研究现状 1.Maslburg提供了手势与机器人之间接口，利用手势控制的机器人可以从事一些人类 不能完成的任务，减轻工作人员的负担。 2.J. L. Raheja的文章中讲述了一种利用Kinect跟踪手指尖和手掌中心的一种方法。 3.韩国工程师G. F. He等人在基于Kinect深度数据分割出手部区域后, 利用Graham Scan算法找出了手部区域的凸包集合。 研究现状 1 研究的背景与意义 国内研究现状 2012年,当我国岐龙号深潜探测器 成功完成7000米级深潜任务时,全国人欢 欣鼓舞。上海交通大学的钱鹤庆应用Kinect 构建人体模型,采用DTW算法进行动态姿势识别, 在标准自然教室中实现了虚拟地球仪的设计; 清华大学的韩峰等人通过Kinect采集到 目标点坐标,然后用RRT算法对机械臂进行 图4.中国蛟龙号深海探测器 路径规划,设计出简易的桌面清理系统。 研究内容一： 静态手势识别流程 包含手势的图片 手势分割 手势特征提取 特征匹配 识别结果 静态手势模板 静态手势识别是指对于静态图片中的手形和手的姿势进行识别。包括手势分割、手势特征提取、手势识别等模块。其中，手势识别多采用模板匹配等方式。一般识别流程如右图所示。常用算法有模板匹配、基于手指检测、基于指尖检测的方法。 图3.静态手势识别流程图 研究内容二： 动态手势识别 2 研究的目标与内容 包含手势的图片系列 手势分割 手势跟踪 识别结束 特征匹配 特征提取 轨迹模板 动态手势识别是指对一个连贯的手势动作进行识别，与静态手势识别的不同之处在于，动态手势是从一系列连续的包含手势的图片序列中进行提取。分割出最初手势后，由于手势的连贯性，下一帧的手势必然出现在检测出来的手势附近，因此很多系统都会增加一个手势跟踪的模块，以避免每一帧图像都再次重新执行手势分割的操作。动态手势的特征通常表现为轨迹特征，因为轨迹特征往往比手的形状和角度更能体现出动态手势的含义。 图4.动态手势识别流程图 创新之处 2 研究的目标与内容 1.在Kinect骨架的基