基于Opencv的Visual Mouse系统的设计与实现-软件工程专业论文.docxVIP

DESIGN AND IMPLEMENTATION OF VISUAL MOUSE SYSTEM BASED ON OPENCV A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Master of Engineering Author: Zhong Duanwei Advisor: Chen Wenyu School : School of Information and Software Engineering 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘要 摘要 I I 摘要 随着图像处理和人脸识别技术的发展和完善，人机交互也不断向前发展，在 周围得到应有。人机交互的发展不但给人们带来更大的便利还增高工作效率，同 时还改变着给残疾人的传统生活，他们能够方便的使用电脑，让他们的生活状况 得到改善。尽管图像处理技术依然需要提高和完善，常规的鼠标键盘输入设备并 不能完全被替代，然而残疾人本身的无可选择性，对他们相对是一种较优的可行 方案，让他们能够使用电脑与外界交流，去学习提高或者娱乐放松。因此本文利 用现有的图像处理和计算机视觉技术来开发替代鼠标作为计算机的输入从而操作 电脑的 Visual Mouse 计算机辅助系统。 本文的工作重点为设计实现 Visual Mouse 系统，此系统借助一个摄像头，通 过捕获摄像头的视频输入，通过人脸检测算法对人脸进行实时检测，同时对检测 出的人脸跟踪，捕获用户的人脸运动轨迹，从而控制计算机屏幕上鼠标的移动； 利用特征检测算法找到人脸中的眼睛，并监视其状态，分析眼睛状态的变化，针 对变化实现用户与计算机的交互。Visual Mouse 系统是一种集合人机交互，应用信 息处理、人脸检测、人眼检测、人脸跟踪等相关技术，采用 Adaboost 方法作为人 脸细节部位的分类器，以提高人脸局部区域的定位精度，Adaboost 算法重点在于 分类器的训练与分析，并在此基础上构建了一个检测器的原型，实验表明我们的 检测可以实现实时的视频人脸检测，可达到较高检测率；人眼定位采用 ASM 算法， ASM 跟大多数统计学习方法一样，也包括 train 和 test（or fit）两部分，也就是形 状建模 build 和形状匹配 fit，ASM 算法具有较高的精确性和鲁棒性，为目前图像 特征定位的经典算法之一；人脸跟踪模块利用高效的 Camshift 算法对人脸进行实 时跟踪，该算法考虑了跟踪过程中目标的尺度和方向变化问题。Camshift 算法通 过一个权值图像进行跟踪，权值最大的地方对应着密度最大处，表示目标可能出 现的区域，迭代地收敛到密度最大处。 实验结果显示，本文的 Visual Mouse 系统能够有效地检测出摄像头拍摄到的 实时人脸，实现人脸左旋、右旋、上仰、下俯实时控制鼠标的左移、右移、上移、 下移，左右眼的睁开闭合实时控制鼠标左击、右击。 关键词：Visual Mouse，人脸检测，人眼定位，人脸跟踪 AB ABSTRACT II II ABSTRACT With the development of image processing and recognition technology and perfect, human-computer interaction is evolving, get around. The development of human-computer interaction will not only bring more convenience also increased the work efficiency, but also changes the traditional life fo