面向自然交互的多通道人机对话系统.pdfVIP

第 41卷 第 l0期 计 算 机 科 学 Vo1．41No．10 2014年 10月 Computer Science Oct2014 面 向自然交互的多通道人机对话系统 杨明浩 陶建华 李 昊 巢林林 (中国科学院自动化研究所模式识别国家重点实验室 北京 1O019O) 摘 要 A．4r]在对话过程中，除了使用口语交互外，还会很 自然地利用表情、姿态等 多模态信息辅助交流。重点分析 并阐述了如何将这些多模态交互方式有效地融合到人机对话模型中，并实现一个面向 自然交互的多模态人机对话系 统。首先根据不同通道(如情感、头姿)对语音交互的影响，将它们主要分为信息互补、信息融合和信息独立3种模式， 并针对 3种模式分别采用不同的方式实现输入信息的多模态融合。信息融合后的对话管理，采用有限自动机、填槽法 和混合主导方式的对话管理策略。针对对话中的情感处理，提出一种情感状态预测网络来记录用户的情感变化，并根 据话语的轮转的不同对话上下文对用户情绪变化进行及时反馈 ，该对话模型能比较灵活地处理用户在对话过程中呈 现的多模态信息。信息输出方面，针对人机对话中较为常用的数字虚拟人的行为控制，提出了一种简化的多模态协同 置标语言，实现了虚拟人的包括情感、姿态与语音的同步表达，提高了虚拟人的表现力。最后基于以上关键技术，实现 了一个面向城市路况信息查询的多模态 自然人机对话系统。多个用户的体验表明，相对于传统的语音人机对话模型， 多通道 自然人机对话系统能有效提高用户交互的 自然度。 关键词 多模态信息融合，人机交互，对话管理 中图法分类号 TP37 文献标识码 A DOI 10．11896／j．issn．1002—137X．2014．10．003 NatureMultimodalHuman-Computer-InteractionDialogSystem YANGMing-hao TAOJian-hua LIHao CHAO Lin-lin (NationalLaboratoryofPatternRecognition，InstituteofAutomation，ChineseAcademyofSciences，Beijing100190，China) Abstract Duringthedialogue，peoplenaturallyusemultimodalinformation，e．g．facialexpressionsandgestures，inad— ditiontousingspokeninteraction，tosupportthecontentexpression．Thepaperproposedaframeworkonhow toeffi— cientlyfusethemultimodalinfomr ationwith human-computerdialogmodeland finallycreatedamultimodalhuman- computerdialogsystem．Thepaperclassifiedthefusedmethodsintothreemodes，complementary，mixedandindepen- dent，accordingtotheirrelationsbetweenspeechchannelandotherchannels．Forthedialogframework，thepaperpro— posedamultimodaldialogmanagementmodelbycombiningfinitestatemachine，slotfillingmethodandmixedinitiative method．Thenewmodulecanflexiblyprocessthemultimodalinformationduringthedialogue．Thepaperalsoproposed aMultimod