基于Kinect辅助的机器人带噪语音识别-清华大学学报.PDF

( ) / 清华大学学报 自然科学版 年 第 卷 第 期 ISSN１０００Ｇ００５４ ２０１７ ５７ ９ ５１９ / 　 ( ), , , CN１１Ｇ２２２３N 　JTsinhuaUniv SciTechnol ２０１７ Vol．５７ No．９ ９２１Ｇ９２５ g 基于 Kinect辅助的机器人带噪语音识别 １ １ １ ２ １ 王建荣 , 高永春 , 张 句 , 魏建国 , 党建武 　 　 　 　 　 ( , ; , ) １．天津大学 计算机科学与技术学院 天津 ３００３５０ ２．天津大学 软件学院 天津 ３００３５０ : 摘 要 音视频信息融合可以提升机器人在噪声环境下的 , 　 随着人机交互技术的发展 机器人被期望能拥 [] １ . 、 、 语音识别性能 然而受说话者的头部旋转 唇部尺寸不一 有像人类一样的感知能力并能与人类合作共事 . , 距摄像头距离不固定以及光照等因素影响 唇部信息不能 , “ ” 为实现这一目标 一些研究者使用机器人的 耳朵 . 得到有效的全面表征 该文提出融合机器人与Kinect的多 [ ] ( ) ２３ . 麦克风 来理解说话者语音信息 然而运动状 . , 模态系统 该系统采用 Kinect获取 ３ＧD数据和视觉信息 , 态下的机器人不可避免地产生噪音 这些噪音被称 . 并使用 ３ＧD数据重构侧唇来补充音视频信息 一系列基于 , 为自身噪声 主要由机器人的电动风扇和马达产 : 特征融合和决策融合方