微笑侦测器.doc

微笑侦测器 本研究的目的在于实时的识别人的微笑。相对较简单的识别激发活动（arousal）（可以透过量测皮肤的导电性、血压等等来达成）来说，识别情绪质（valence）是更困难的工作。不过，辨识与测量情绪质是很有价值的。它有各式各样的应用，例如评估使用者状态的情意软件，还有像是在远程学习系统中，老师无法看到每一个学生的反应等等诸如此类的状况。我们所提出的微笑侦测器，结合了其它侦测器（例如眉毛的姿势以及点头／摇头侦测器等等）可以提供一个情绪质量测器，或甚至是加速寻找终极情绪识别器的过程。 背景 微笑侦测器是以Ashish Kapoor的系统[4]为基础。现在的系统使用IBM蓝眼相机（/cs/blueeyes）来实时侦测瞳孔、眼睛及眉毛[4]，再加上点头与摇头。瞳孔侦测使用的算法与Morimoto[2]近似。眼睛与眉毛的识别则是使用特征点[1]。 技术阶段 1. 框定嘴巴区域 嘴巴的中心位在两眼的下方，与两瞳孔联机相隔某特定的距离。第一步，计算此距离并与两瞳孔间的距离作比较。连接两瞳孔的线及上下嘴唇中心线用黄色标记（见图一）。第二，我们在框定嘴巴的时将头的倾斜考虑进去。在这样的情况下，嘴唇的框架就不会排在两眼下，而其位置会根据瞳孔的联机决定。请看图二中倾斜的脸。 图一 图二：倾斜的脸 3. 嘴巴框架的大小是根据相对于两眼间来计算的。这么做是为了将以下都考虑进去：1）脸的大小。2）距离相机的距离。3）未朝向正面的脸。例如在图二中的脸就比较靠近相机，因此为了配合这样的状况，框住嘴巴的盒子就应该要比较大。图三中显示了一张稍微面向侧面的脸。 图三：未朝向正面的脸 4. 用嘴巴的侧切图来识别微笑。 我们分析垂直的波形来识别微笑的样本。图四呈现了一个微笑及其相对应的波形图。微笑的样本与闭阖的嘴巴不同。图五显示了一些典型的微笑（左）与非微笑（右）。一个非微笑的嘴巴一般来说嘴巴闭阖时有一最小点（黑色），一个微笑中的嘴则有两个最小点，每片嘴唇的区域都各有一个（当嘴唇进入嘴巴产生的阴影）。 技术 现在的实作使用C语言程序来撷取影像及定位两眼。这些档案会被下载到一个Matlab程序做进一步的研究和分析。下一个版本将会将全部用C语言程序实作整个系统。 评估 我们在七个样本上测试了这个算法。其中一个人有胡子，两个人离相机太远。针对剩下四个「干净」的样本分析了106个图片（其中有四十个是微笑）。结果有四笔错误（三笔没认出微笑，一笔将非微笑误认为微笑）。这代表着百分之九十六的准确度，然而，有半数的样本及影像本身就属于用于训练数据的一部分，所以一个更完整的评估仍然是必要的。 问题与未来展望 分辨率 小脸，结合某特定的距离相机的距离，嘴巴的区域小于100像素x150像素将不足以供作分类。为解决这个问题，我们必需使用分辨率更高的相机。 进阶训练 对本系统进阶的训练使其适应它的参数，像是嘴巴的位置、嘴巴框盒的大小、过滤的程度等等 胡须 现在的系统并不支持有胡须的人的分类。针对此目的进一步发展一个算法是必要的。 完整的研究 一个包含更大的人口样本的完整研究，对于评估本系统的可靠度是必须的。 用C语言实作 下一步是将本系统用C语言实作以达到实时性之支持。 参考文献 1. M. Covell，＜特征点＞，??际影像处理学术会议，1996年九月。 2. C. Morimoto, D. Koons, A. Amir与M. Flickner，＜使用多个光源侦测并追踪瞳孔＞，《技术报告》，IBM Almaden 研究中心，1998年。 3. A. Kapoor与R.W. Picard，＜实时摇头点头侦测器＞，知觉使用者接口研讨会。奥兰多，佛罗里达，2001年。 4. A. Kapoor与R.W. Picard，＜实时全自动脸上半部特征追踪＞，即将发表于第五届国际自动脸部及姿势辨识学术会议，2002年。