基于openCV的手势识别解说.ppt

基于openCV的手势识别 答辩人: 许译天 outline openCV平台简介 手势识别系统简介 技术细节我们的工作 结论 1.openCV openCV是开源的计算机视觉库, 由Intel开发维护的, 包含常用的机器视觉, 模式识别算法.(BSD许可证) 2.1手势识别系统 它通过摄像头采集到图像, 分析图像的内容, 识别出手的动作, 指挥计算机做出各种反应 2.2技术现状 输入图像: 近红外成像, 双目立体视觉, 普通图像 3.1处理流程-概要 3.2处理流程-详细 4.分割 – 1.均值漂移滤波 PyrMeanShiftFiltering 4.分割 – 2.肤色模型 HSV色彩模型: H:色相 S: 饱和度 V:亮度 手的区域: H(0-30),S(30-170),V(0-200) 4.肤色模型—非线性, 非凸性 4.光照影响 - 开台灯 4.光照影响 - 关台灯 4.解决方法 – 高光补偿 颜色塞选 高光塞选 合成 1.7对比 模型比较: 5. 建模 – 轮廓提取 找到潜在的手后, 可以有多种表示方法 图像法 直方图法 轮廓法: 就是二值化以后, 查找边缘并用freeman链表示 5.建模—查找轮廓 外接框 凸包 freeman链(openCV库) 5.建模 – 轮廓塞选 去掉面积过小的区域 去掉与窗口接壤的区域 3. 应用 手势识别(测试成功) 运动识别(测试成功) 手的运动语义 运动语义较为复杂, 准备慢慢研究. 6. 特征匹配 模板匹配法 Hu矩算法( openCV库) 3.1.3 数据分析 3.1.4 模板 3.2.1 运动识别 对于特定手势, 识别手移动的方向 获得速度方向信息, 控制鼠标 3.2.2 震动消除 3.2.3 测试效果 4.1 系统的不足 运算量大, 系统反应较慢 光线变化复杂, 适应性差 抖动较为严重 不能分离手和胳膊 4.3 任务分配 邬东东: 色彩提取,光线适应 梁汉辉: 手的模板, 及匹配 周明旺: 滤波, MFC融合 许译天: 框架设计, 系统调整 4.4 总结 现在有在手上戴辅助工具帮助加强识别的系统, 但这样却限制了这门技术的推广应用. 我们直接把原始的手作为提取对象, 旨在研究一种通用的系统. 经过这些研究测试, 我们发现, 对手的提取远比其他部位如脸,眼睛要复杂的多, 因为光线是多变的, 而且手是一个不断变化形状的对象,这些都给我们增加了困难. 谢谢! * * CV 图像处理, 视觉 MLL 统计分类器 GUI 图像视频I/O cxCORE 基本数据结构,算法 模板匹配法 神经网络法 图像属性(轮廓, 图像矩,特征, 直方图) 肤色模型(色彩的聚类特征 ) 轮廓边缘 (canny检测) 静态识别 隐马尔科夫模型法 动态时间规划法 特征匹配 运动序列(计算运动光流, 抽取运动轨迹 ) 手势建模 运动跟踪(差值图像分割, camshaft, 卡尔曼跟踪预测, 背景剪除法) 手势分割 动态识别 手的提取 模式识别 控制输出 1分割 2建模 1匹配 原始图片 尺寸调整 均值漂移滤波 分离HSV通道 H S V 塞选叠加 降噪(开运算) 二值化 查找轮廓 轮廓塞选 手 高光补偿 YCrCb色彩模型 二值化模型 HSV色彩模型 拉普拉斯变换模型 载入模板图片 提取模板的轮廓 模板库 当前手势轮廓 计算匹配率 分析结果 0.3 计算参考点 消除震动影响 方向和速度 控制鼠标