多通道人机交互信息融合的智能方法-人机语音交互课题组.PDFVIP

中国科学 信息科学 年 第 卷 第 期 智能时代的人机交互专刊 论文 多通道人机交互信息融合的智能方法 1* 1,2,3* 杨明浩 陶建华 1. 中国科学院自动化研究所模式识别国家重点实验室, 北京 100190 2. 中国科学院大学人工智能技术学院, 北京 100049 3. 中国科学院脑科学与智能技术研究中心, 上海 200031 * 通信作者. E-mail: mhyang@nlpr.ia.ac.cn, jhtao@nlpr.ia.ac.cn 收稿日期: 2017–10–30; 接受日期: 2018–03–01 国家重点研发计划(批准号: 2017YFB1002804) 和国家自然科学基金 (批准号: 资助项目 摘要 本文首先简要回顾了认知科学在单通道信息加工及多通道信息融合方面的假定 其次 介绍 了计算机科学在多通道信息融合方面相对于单通道信息处理增强的理论模型及实验验证 在各通道 特征能够同时获得并统一表示的前提下 多通道人机交互信息的融合可以转化为分类或者回归问题 求解 对于实际的交互系统 目前的多通道信息融合技术除了依赖单通道信息识别的准确性外 还 依赖于交互系统设计的合理性 最后通过一个多通道信息融合的人机交互的实例 讨论了目前多通 道交互系统的缺陷 并给出多通道人机交互信息融合智能方法未来的一个突破方向 关键词 多通道信息融合 人机交互 机器学习 模式识别 认知科学 引言 因为符合人的交互模式 多通道交互 被认为 是更为自然的人机交互方式 相对于传统的单一通道交互方式 多通道人机交互方式在移动交 互和自然交互存在着更为广泛的应用潜力 如智能家居 、智能人机对话 、体感交互 、教 育 等 近年来 人工智能技术使得单一通道认知感知技术 如语音识别 、人脸识别 、情 感理解 、手势理解 、姿态分析 、笔 、眼动 、触觉 等性能得到 快速提升 计算机能够比较准确理解用户单通道行为 同时 高速发展的便携式硬件技术 催生了一些 价格低廉却便于随身穿戴的小巧便捷的传感器 这些传感技术和设备为准确判断用户行为提供了更多 数据 传统的单一通道人机交互方式 如较为广泛使用的鼠标键盘 或者基于笔触的图形界面交互方式 因为输入设备信息精确和直观 计算机不用关注用户行为 然而在多通道移动交互和自然交互条件下 系统需要准确地判断用户 在做什么 和 要做什么 才可能对用户行为进行准确反馈 如在家庭服 引用格式 杨明浩 陶建华 多通道人机交互信息融合的智能方法 中国科学 信息科学 ⃝ 《中国科学》杂志社 杨明浩等 多通道人机交互信息融合的智能方法 务机器人领域 用户指着桌上的苹果对机器人说 请帮我把苹果拿过来 则机器人首先需要根据言语 内容和手势所指目标 准确理解用户的意图是拿取桌上的苹果 然后机器人凭借目标识别与路径规划 技术完成相应任务 再譬如在人机对话中 如果用户对计算机的回答表示满意 然后带着高兴的表情 说 不错 还以为你不会回答呢 计算机如果没能正确理解用户意图 着力于解释其回答问题的能力 反而带给用户不好的体验 因此 多通道人机交互中用户意图的准确理解是交互自然与否的关键 而 如何根据不同通道信号进行有效融合并计算是意图准确理解的重要手