一套适用于智能家居环境的手势操作指令集及其识别方法-专利稿2-20110111.docx

说明书 一套适用于智能家居环境的手势操作指令集及其识别方法 摘要 本发明提供了一套适用于智能家居环境的手势操作指令集及其基于计算机视觉的识别方法。指令集包括通用操作方法手势和快捷方式操作手势，在通用操作方式下提出了一种利用双目摄像头以人眼位置和手指指向判断待控设备的方法。在视觉识别系统中有事先训练好的分类器以及静态手势模板和动态手势轨迹库，能够实时跟踪人脸及人手，及时对人手的指示行为作出识别。本发明的多数操作行为不需要菜单辅助，手势设计符合人类对待控设备的自然认知，可以显著提升智能家居操控的趣味性和有效性。  技术领域 本发明涉及人机交互系统，尤其涉及一种基于计算机视觉适合操作智能家居手势指令集人机交互方法。 背景技术 随着社会的进步，科学技术的发展，人们对生活质量的追求越来越高。由于智能家居系统可以为人们营???舒适便捷的生活环境，所以智能家居开始作为一种生活理念被越来越多人接受。 目前普遍盛行的智能家居控制系统属于第二代控制系统，此类控制系统在功能和操作上各自独立，相互之间不能进行通信和协作，比如可视化对讲系统、温度控制系统、智能灯具、智能窗帘等。现在智能家居正从第二代控制系统向第三代控制系统转化。第三代控制系统在第二代的基础上，尝试把这些功能单一的设备进行集成，以家庭服务器为核心进行一体化的统一控制。这种控制一般通过按钮或遥控器实现，而这些交互方式并不符合人类自然的交流习惯。 现在追求人类与智能家居的自然交互成为研究热点，人类在日常生活中做出的自然指示成为一种好的选择。目前存在的手势识别系统多针对单一机器，多为电脑，并且基于界面，这就要求必须要定制好合适的操作界面。 发明内容 本发明的目的在于，提供一种自然舒适，可用性高，有效性好的适用于智能家居中自动设备控制的手势识别操作方法。该方法包括一套手势词汇及其识别检测方法。 本发明针对智能家居系统常用的智能家电和自动设备，包括电视机、空调、自动窗帘、灯具、音响等，设计一套手势操作动作，根据智能家居的控制特点，找出人类自然状态下操作智能设备的最佳动作。这些动作的设计原则是：简单性、易用性、 本发明的通用手势操作方法采用如下步骤： 用户以手指指示待控设备，视觉识别系统判断设备，并映射； 设备映射的同时，视觉识别系统进入命令模式； 用户发出适用于该设备的手势，视觉识别系统检测出手势类型，并把手势编号发送给智能家居总控系统，由总控系统查询命令编号对应表执行相应操作。 上述步骤一中以手指指示判断待控设备的方法是采用双目立体视觉技术，通过多个摄像头采集同一场景，计算空间点在两幅图像中的视差，获得该点在世界坐标系中的三维坐标值。在本发明中需要识别人眼以及食指尖两个点在世界坐标系中的三维坐标，根据人的指示习惯，以及在视觉系统中建好的房间内立体模型，在眼睛与食指尖的连线搜索设备。 上述步骤二中：手指指示一方面确定带操作设备，另一方面是切换视觉识别系统运行模式。视觉识别系统分为定位模式和手势识别模式两种模式。视觉识别系统启动后，默认情况是一直处于定位模式下，在检测到用户发出指示手势时切换到命令识别模式，开始识别用户命令，当无用户操作命令时延时10秒后切换回定位模式。为了防止噪声干扰，当连续检测到用户指示手势在7帧以上时才进行切换。 上述方法中模式切换动作包括：手指指示、两次鼓掌，具体适用情景见表3。 上述步骤三中针对每种设备的操作方式设计了适合的操作手势，比如：对于自动窗帘，我们设计了两个动作来进行打开与关闭的操作，打开：手从左向右划动然后返回；关闭：手从左向右划动然后返回。这两个动作符合人类对窗帘的认知，操作自然，如果是使用快捷方式操作方法的话会达到非常优秀的操作感受。其它设备及手势可参看表1 本发明中的快捷方式操作方法采用如下步骤： 两次鼓掌进入命令识别模式； 用户发出快捷方式操作手势，视觉识别系统检测出手势类型，并把手势编号发送给智能家居总控系统，由总控系统查询命令编号对应表执行相应操作。 上述步骤二中所述快捷方式操作手势，单一手势与单一设备的单一功能一一对应，所以不需要事先映射待控设备。关于快捷方式操作手势可参看表2 上述方法中视觉系统对手势的检测步骤包括：人脸区域的检测与跟踪、手区域的检测与跟踪、人眼的定位、食指尖的定位、手势识别和设备定位。 上述人脸区域的检测与跟踪步骤为：通过Adaboost算法对人脸区域进行快速检测，以此作为Camshift的初始选择区域，从而实现自动人脸检测，对跟踪过程加入贪心预测，并加入Kalman预测的结果相对比。在人脸检测过程中，需要通过训练大量的人类和非人脸样本建立分类器，在输入图像中分类出人脸图像。 上述手区域的检测步骤包括：根据人脸肤色特征进行手势分割；手势轮廓提取；轮廓边缘拟合。本发明中利用Camshift算法与手形遮罩相结合的手势别方法。该方