智慧型服务机器人的语音交互技术.ppt

基于矢量传声器的GSC算法 (a) (c) (d) (b) (a) 原始语音信号；(b) 声压传声器输出信号；(c) SC滤波器输出信号；(d) GSC系统输出信号。 运动、柔性阵列 利用机器人的运动特点，包括身体移动、头部转动，得到更多的声学目标信息； 传声器可以布放在机器人各个位置，如手臂上，形成孔径、形状可变的阵列，根据需求进行调整； 音、视频技术的融合，借助视频信息辅助获取声信息 机器人听觉的差距 双耳与人头模型 3D 听觉 3D听觉 Elevation [deg] Angular step [deg] Number of points －40 5 72 －30 5 72 －20 5 72 －10 5 72 0 5 72 10 5 72 20 5 72 30 5 72 40 5 72 50 5 72 60 10 36 70 15 24 80 30 12 90 －－ 1 total 793 其它物理感知技术 激光测振技术 激光测振技术 其它物理感知技术 激光测声技术 其它物理感知技术 高速摄影技术 总结与展望 语音交互是人机交互中最自然的一种交流方式； 机器人听觉涉及多个研究方向，取得很多进展，也存在很多问题； 通过对人的听觉系统的了解和模仿，提高机器人听觉存在的一些问题； 借鉴多种物理感知手段的发展，可望取得突破性进展。 * * 我的MOTO L7 * * * * * * * 我们有两个耳朵，还有一个脑袋 语音、音频信号处理讲座 I 简介 2005年7月 智慧型服务机器人的语音交互技术 第三届北京国际服务机器人大会 IACAS 大 纲 引言 机器人语音交互问题 机器听觉技术进展 结束语 引言 近年来，由于计算技术、通信技术、传感器技术的快速发展，自动控制、模式识别等理论的突破，人工智能、机器人技术得到一定程度的普及； 机器人时代的到来……. 各种预言、产业前瞻，甚至伦理讨论 而在现实中，机器人是： 引言 引言 近年来，出现不少“智慧型”服务机器人： 引言——问题和挑战 对人类大脑的感知、理解机制知之不足，缺少突破； 基于大数据、深度学习的计算机智能是： 即无意识（non-sentient）的智能，专注于某项特定任务； 对应的有“strong AI”，或称“Artificial general intelligence ”…….. weak AI 引言——问题和挑战 各类传感器、制动器可以做到非常精准，但与生物传感器相比，天壤之别……. 引言——语音交互 听和说是人类最自然的交流方式，也是最好的人机交互方式 引言——机器人听觉（Robot Audition） 基于快速发展的物理感知、计算和通信技术，实现一般环境中机器与人的自然语音/音频信息交互。 在复杂声学环境，区分了解声学事件； 去除环境噪声、混响干扰，实现远距离声目标的信号获取； 对单个或多个声信号的处理和感知，直至识别、理解； 对话、交互 …….. 机器人听觉研究 典型人形机器人的声学配置 头顶部4个传声器 头部双耳处安装扬声器 机器人听觉研究 一些关键技术： 回声抵消（Acoustic Echo Cancellation） 自噪声抑制（Ego Noise Suppression） 语音增强（Speech Enhancement） 单通道 多通道（阵列） 其它声学感知技术 回声抵消（Acoustic Echo Cancellation）：当机器人说话时，声音会同时传送给其“耳朵”，影响对目标声音拾取。 机器人听觉研究进展 回音抵消 回音抵消 立体声声学回声抵消（SAEC） 多通道回声抵消 滤波器失调严重 双通道信号间强相关 性能评价 滤波器失调性能 全频带性能 去相关性能 自噪声抑制（Ego Noise Suppression ）: 当机器人运动时，各种驱动电机的噪声会传送给其“耳朵”，影响对目标声音拾取。 机器人听觉研究进展 自噪声抑制 采集自噪声数据，训练形成“字典”； 在应用中对照“字典”，消除自噪声成分。 自噪声抑制 自噪声抑制效果： 提高PESQ 得分，从 1.5 提高至2.5； 噪声抑制量20dB； 显著提高语音识别正确率。 示例： 在很多环境中，存在干扰噪声和房间混响，需要通过语音增强技术加以改善。 单通道语音增强 多通道语音增强——传声器阵列 其它物理感知方法 语音增强 语音增强 单通道语音增强：非平稳噪声背景下的语音增强技术 瞬态噪声消除 语音增强 语音增强 存在问题： 只对某些类型的瞬态噪声有效 不能完全消除瞬态噪声，存在残留 瞬态噪声检测 瞬态噪声特性学习 瞬态噪声抑制 去除含有瞬态噪声的帧 瞬态噪声检测 语音重建 语音增强 客观测试结果对比： 降噪量提高：完全消除了瞬态噪