智慧型服务机器人的语音交互技术.pptxVIP

大 纲引言机器人语音交互问题机器听觉技术进展结束语 引言近年来，由于计算技术、通信技术、传感器技术的快速发展，自动控制、模式识别等理论的突破，人工智能、机器人技术得到一定程度的普及；机器人时代的到来…….各种预言、产业前瞻，甚至伦理讨论 · 而在现实中，机器人是：引言 引言· 近年来，出现不少“智慧型”服务机器人： 引言——问题和挑战对人类大脑的感知、理解机制知之不足，缺少突破；基于大数据、深度学习的计算机智能是：weak AI即无意识（non-sentient）的智能，专注于某项特定任务；对应的有“strong AI”，或称“Artificial genera intelligence ”…….. 引言——问题和挑战各类传感器、制动器可以做到非常精准，但与生物传感器相比，天壤之别……. 引言——语音交互· 听和说是人类最自然的交流方式，也是最好的人机交互方式 引言——机器人听觉（Robot Audition）基于快速发展的物理感知、计算和通信技术，实现一般环境中机器与人的自然语音/音频信 息交互。在复杂声学环境，区分了解声学事件；去除环境噪声、混响干扰，实现远距离声目标的信号获取；对单个或多个声信号的处理和感知，直至识别、理解；对话、交互…….. 机器人听觉研究· 典型人形机器人的声学配置头顶部4个传声器头部双耳处安装扬声器 机器人听觉研究一些关键技术：·回声抵消（Acoustic Echo Cancellation）·自噪声抑制（Ego Noise Suppression）·语音增强（Speech Enhancement）单通道多通道（阵列）· 其它声学感知技术 · 回声抵消（Acoustic Echo Cancellation）：当机器人说话时，声音会同时传送给其“耳朵”，影响对目标声音拾取。机器人听觉研究进展 回音抵消 回音抵消无法获取该音频文件。无法获取该音频文件。 · 立体声声学回声抵消（SAEC）多通道回声抵消滤波器失调严重双通道信号间强相关 性能评价滤波器失调性能全频带性能去相关性能 · 自噪声抑制（Ego Noise Suppression ）:当机器人运动时，各种驱动电机的噪声会传送给其“耳朵”，影响对目标声音拾取。机器人听觉研究进展 自噪声抑制采集自噪声数据，训练形成“字典”；在应用中对照“字典”，消除自噪声成分。 自噪声抑制自噪声抑制效果：提高PESQ 得分，从1.5 提高至2.5；噪声抑制量20dB；显著提高语音识别正确率。· 示例： 在很多环境中，存在干扰噪声和房间混响，需要通过语音增强技术加以改善。·单通道语音增强·多通道语音增强——传声器阵列·其它物理感知方法语音增强 语音增强单通道语音增强：非平稳噪声背景下的语音增强技术 · 瞬态噪声消除语音增强 语音增强存在问题：只对某些类型的瞬态噪声有效不能完全消除瞬态噪声，存在残留瞬态噪声检测瞬态噪声特性学习瞬态噪声抑制去除含有瞬态噪声的帧瞬态噪声检测语音重建 语音增强 客观测试结果对比：降噪量提高：完全消除了瞬态噪声PESQ提高：对语音质量大幅改善语音增强 传声器阵列通过多个传声器拾取空间声场信息，实现：·空间滤波——波束形成·增强目标语音信号，去除干扰、混响·多声源定位、分离·…… 传声器阵列顶部有7mic array，用于语音增强 研究进展—传声器阵列 基于矢量传声器的阵列技术声场是矢量场，而普通传声器所测声压是标量矢量传声器可获取声场质点振速传感方式频率特性 基于矢量传声器的GSC算法 基于矢量传声器的GSC算法(a)(b)(c) (d)(a) 原始语音信号；(b) 声压传声器输出信号；(c) SC滤波器输出信号；(d) GSC系统输出信号。 运动、柔性阵列利用机器人的运动特点，包括身体移动、头部转动，得到更多的声学目标信息；传声器可以布放在机器人各个位置，如手臂上，形成孔径、形状可变的阵列，根据需求进行调整；音、视频技术的融合，借助视频信息辅助获取声信息 机器人听觉的差距 双耳与人头模型 3D 听觉 3D听觉Elevation [deg]Angular step [deg]Number of points－40572－30572－20572－105720572105722057230572405725057260103670152480301290－－1total793 其它物理感知技术· 激光测振技术 激光测振技术 其它物理感知技术· 激光测声技术 其它物理感知技术· 高速摄影技术 总结与展望语音交互是人机交互中最自然的一种交流方式；机器人听觉涉及多个研究方向，取得很多进展，也存在很多问题；通过对人的听觉系统的了解和模仿，提高机器人听觉存在的一些问题；借鉴多种物理感知手段的发展，可望取得突破性进展。