基于多模态视觉特征的自然人机交互 - 电子学报.pdfVIP

第 期 电 子 学 报 １１ Ｖｏｌ．４１ Ｎｏ．１１ 年 月 ２０１３ １１ ＡＣＴＡＥＬＥＣＴＲＯＮＩＣＡＳＩＮＩＣＡ Ｎｏｖ． ２０１３ 基于多模态视觉特征的自然人机交互 管业鹏 （上海大学通信与信息工程学院，上海 ２０００７２；新型显示技术及应用集成教育部重点实验室，上海 ２０００７２） 摘 要： 针对目前人机交互中存在的问题与不足，提出了一种基于多模态视觉特征的人机交互新方法 采用二 ． 维Ｇａｂｏｒ小波提取全局人脸朝向视觉特征，克服人脸显著特征提取困难，以及不同人脸朝向特征区分的难度性；基于 人脸几何分布特征，快速定位人眼中心，无需考虑人脸图像分辨率和人眼闭合及其配戴情况；通过对视觉特征的重要 性评价，选取分类特性显著的多模态视觉特征进行机器学习与训练，确定用户所指目标，实现非穿戴自然人机交互，用 户无需佩戴任何标记，且其活动不受约束，便于充分发挥其日常技能 通过实验对比，验证了文中所提方法有效、可行， ． 可应用于实时非穿戴自然人机交互中． 关键词： 人机交互；多模态视觉特征；非穿戴；机器学习 中图分类号： 文献标识码： 文章编号： （ ） ＴＰ３９１４ Ａ ０３７２１１２２２３０７ 电子学报 ： ： ： ＵＲＬ ｈｔｔｐ／／ｗｗｗ．ｅｊｏｕｒｎａｌ．ｏｒｇ．ｃｎ ＤＯＩ １０．３９６９／ｊ．ｉｓｓｎ．０３７２２１１２．２０１３．１１．０１７ ＭｕｌｔｉｍｏｄａｌＶｉｓｕａｌＦｅａｔｕｒｅｓＢａｓｅｄＮａｔｕｒａｌＨｕｍａｎＣｏｍｐｕｔｅｒＩｎｔｅｒａｃｔｉｏｎ ＧＵＡＮＹｅｐｅｎｇ （ ， ， ， ； ＳｃｈｏｏｌｏｆＣｏｍｍｕｎｉｃａｔｉｏｎａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇＳｈａｎｇｈａｉＵｎｉｖｅｒｓｉｔｙＳｈａｎｇｈａｉ２０００７２Ｃｈｉｎａ ， ， ， ） ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＡｄｖａｎｃｅｄＤｉｓｐｌａｙｓａｎｄＳｙｓｔｅｍＡｐｐｌｉｃａｔｉｏｎＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎＳｈａｎｇｈａｉ２０００７２Ｃｈｉｎａ ： （ ） Ａｂｓｔｒａｃｔ ＡｎｏｖｅｌｈｕｍａｎｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎＨＣＩｉｓｄｅｖｅｌｏｐｅｄｂａｓｅｄｏｎｍｕｌｔｉｍｏｄａｌｖｉｓｕａｌｆｅａｔｕｒｅｓａｉｍｉｎｇａｔｓｏｍｅｌｉｍｉｔｓ ， ａｔｐｒｅｓｅｎｔ．ＴｗｏｄｉｍｅｎｓｉｏｎａｌＧａｂｏｒｗａｖｅｌｅｔｉｓａｄｏｐｔｅｄｔｏｅｘｔｒａｃｔｓｏｍｅｖｉｓｕａｌｆｅａｔｕｒｅｓｏｆｇｌｏｂａｌｆａｃｅｏｒｉｅｎｔａｔｉｏｎｗｈｉｃｈｏｖｅｒｃｏｍｅｓ