基于”手势识别”的人机交互系统.docx

基于”手势识别”的人机交互系统自动化科学与工程学院目录初级组基于”手势识别”的人机交互系统1摘要3一、题目分析4A.设计要求4B.题目分析4二、已实现功能5A.基本要求5B. 拓展要求5三、方案设计与选择5A. 手势分割方案5（1）方案1：基于HSV色彩空间的肤色识别5（2）方案2:基于YCrCb色彩空间的肤色检测6（3）方案分析比较与选择7B. 手势识别方案8（1）方案1：重心距离法8（2）方案2：凸包检测法8（3）方案分析比较与选择9四、方案实施9A.手势分割9B.重心距离法实现锤子剪刀布的游戏10C.凸包检测法15D.鼠标控制18E.人脸识别20五、调试及成品展示22A.MFC人机交互界面22B.锤子剪刀布识别展示22C. 数字识别展示23D. 人脸检测展示24F.空间中写字展示25六、总结25七、参考文献26摘要 手势也是表达信息的一种重要方式，对于手势进行识别具有很广泛的应用。该作品以计算机自带的摄像头为硬件设备，以opencv库为算法基础，进行原始图像的采集和处理。结合MFC建立良好的人机交互系统，将采集的原始图像、处理得到的图像展示出来，具有一定的美感。该作品实现了设计要求的全部基本功能和拓展功能，同时附加数字识别和人脸检测拓展功能，能够进行多功能展示。题目分析设计要求基本要求（1）基于摄像头获取的图像数据，实现手部检测；（2）实现拳头、剪刀、布三个手势的识别；（3）设计良好的人机界面，用于展示原始图像以及处理结果等信息；拓展要求（1）控制鼠标完成移动、单击、双击、拖动等操作；（2）控制电脑关屏、开屏； （3）设计锥子剪刀布游戏：播放提示语、判断胜负等；（4）实现空中手写轨迹识别； 其他拓展功能。题目分析YCrCb确认无误已实现功能 基本要求打开摄像头并获取图像数据，实现手部检测实现拳头、剪刀、布三个手势的识别MFC良好的人机界面，用于展示原始图像以及处理结果等信息B. 拓展要求1、 控制鼠标完成移动、单击、双击、拖动等操作；2、 控制电脑关屏、开屏3、 锥子剪刀布游戏：判断胜负、播放音乐、记录分数等4、 实现空中手写轨迹识别5、 实现0~5的数字识别6、 实现人脸检测方案设计与选择A. 手势分割方案（1）方案1：基于HSV色彩空间的肤色识别HSV(Hue, Saturation, Value)是根据颜色的直观特性由A. R. Smith在1978年创建的一种颜色空间, 也称六角锥体模型(Hexcone Model)。、这个模型中颜色的参数分别是：色调（H），饱和度（S），亮度（V）。从RGB到或HSV的转换关系如下：【1】（2）方案2:基于YCrCb色彩空间的肤色检测1）、YCbCr分为Y，Cb，Cr三个分量，其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。2）、阈值分割：根据多次实验确定，正常黄种人的Cr分量大约在140~·175之间，Cb分量大约在100~120之间。3）、Opencv从RGB到YCrCb色彩空间的转换关系如下：【2】（3）方案分析比较与选择【3】可以看出HSV颜色空间中H、S、V的标准差相对于YCrCb空间的标准差要大。而在YCrCb空间中，Y的标准差要明显大于其他两者。标准差越大则表明其值在亮度变化时波动大，因此选择标准差小的颜色通道比较好。因此，选用方案2.B. 手势识别方案（1）方案1：重心距离法?见下图，红色点是手的重心，那么手的边缘的所有点与重心点的距离按顺时针方向或者逆时针方向遍历，就会出现五个峰值，分别是五个手指，这样我们就可以简单找到了。如果你是只伸出一两个手指，那么就只有一两个峰值了。【4】（2）方案2：凸包检测法【5】如上图所示，黑色的轮廓线为convexity?hull,?而convexity?hull与手掌之间的部分为convexity?defects.?每个convexity?defect区域有四个特征量：起始点（startPoint），结束点(endPoint)，距离convexity?hull最远点(farPoint)，最远点到convexity?hull的距离(depth)。（3）方案分析比较与选择在方案1中，按顺时针方向或者逆时针方向遍历出现峰值保持的点数超过80个即认为这个点是指尖，辨别存在偏差。在方案2中，通过凸包检测到的点集识别，只要有指尖凸包检测法就会检测到相关的点，这个点就是指尖。此法辨别率高。因此，锤子剪刀布游戏对于指尖检测辨别率不高的识别方法选用方案1，数字识别对于指尖检测辨别率高的识别方法选用方案2.方案实施手势分割代码实现：//肤色提取，skinArea为二值化肤色图像 void skinExtract(const Mat frame, Mat skinArea){Mat YCbCr;vectorMat p