第8章-深度学习在语音中的应用学习资料.pptxVIP

高级大数据人才培养丛书之一，大数据挖掘技术与应用BIG DATA深度学习刘 鹏 张 燕 总主编刘鹏 主编 赵海峰 副主编全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用第八章　深度学习在语音中的应用8.1　语音识别基础8.2　基于深度学习的连续语音识别8.3　应用举例：语音输入法习题of288.1 语音识别基础第八章 深度学习在语音中的应用1．从实验室环境到实际应用场景 语音识别最基本的定义是“电脑能听懂人类说话的语句或命令，而做出相应的工作“。50多年来，该技术渐渐开始改变我们的生活和工作方式，这种趋势的出现和下面几个关键领域的进步是分不开的。of288.1 语音识别基础-人类之间的交流第八章 深度学习在语音中的应用语音与语音(Speech-to-Speech, S2S)翻译系统 语音识别系统可以用来消除人类之间的障碍。人们如果想要与不同语言的使用者进行交流，需要另一个人作为翻译才行。S2S翻译系统可以用来消除这种交流壁垒。同时还可以整合到像Skype这样的一些交流工具中。下图列举了一个典型的S2S翻译系统的心组成模块，可以看到，语音识别是整个流水线中的第一环。 除止之外，语音识别技术还有其他形式用来帮助人类交流。1、消息发送者的语音信息可以通过语音转写子系统转换为文本信息。2、利用语音识别技术进行输入可以更便捷。提高用户使用友好性。of281.1 语音识别基础—人机交流第八章 深度学习在语音中的应用PDA知晓移动设备上的信息，了解一些常识，并记录了用户与系统的交互历史。有了这些信息，PDA可以更好地服务用户。比如，可以完成拨打电话、安排会议、回答问题和音乐搜索等工作。用户可以直接通过语音来搜索餐馆、行驶路线和商品评价的信息。目前，语音搜索类应用在iPhone、Android手机上已经非常流行。智能游戏智能家居语音搜索个人数码助理(PDA)人机 交流智能家居系统允许用户使用语音与之交互，用户通过它们来播放音乐、询问信息或者控制系统。在融合语音识别技术后，游戏的体验将得到很大的提升。例如，在一些微软Xbox的游戏中，玩家可以和卡通角色对话以询问信息或者发出指令。of288.1 语音识别基础—基本结构第八章 深度学习在语音中的应用以上是语音识别系统的典型结构，语音识别系统主要由图中的四部分组成：信息处理和特征提取、声学模型(AM)、语言模型(LM)和解码搜索部分。of288.1 语音识别基础—特征提取第八章 深度学习在语音中的应用 特征提取 原始模拟信号首先经录入器件转化为数字信号，声学特征提取部分负责从数字化后的语音中提取声学特征信息。为保证识别准确率，该特征应该对声学模型的建模单元具有较好的区分性。同时，为了能够高效的计算声学模型参数和进行解码识别，声学特征需要在尽量保留语音中文本信息的前提下，抑制诸如说话人、信道、环境噪声等干扰信息，并且维持一个适中的维度。提取良好的具有区分性的声学特征对提升语音识别系统的性能至关重要。梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients, MFCC)感知线性预测系数(Perceptual Linear Prediction, PLP)保留Mel滤波器输出各维度之间相关性的滤波器组特征(Filter Bank Feature)of288.1 语音识别基础—声学模型第八章 深度学习在语音中的应用 声学模型 关于声学模型，有两个主要问题，分别是特征向量序列的可变长和音频信号的丰富变化性。可变化特征向量序列的问题在学术上通常由动态时间规整方法和隐马尔可夫模型(HMM)方法来解决。音频信息的易变性是由说话人的各种复杂的特征(如性别、健康状况或紧张程度)交织，或是说话风格与速度、环境噪声、周围人声、信道扭曲(如麦克风音的差异)、方言差异、非母语口音引起的。一个成功的语音识别系统必须能够应付所有这类声音的变化因素。高斯混合模型-隐马尔可夫模型(GMM-HMM) 最大似然准则(Maximum Likelihood, ML)最小分类错误(MCE)和最小音素错误(MPE)上下文相关的深度神经网络—隐马尔可夫模型(CD-DNN-HMM)of288.1 语音识别基础—语言模型第八章 深度学习在语音中的应用 语言模型语音识别系统的目的是把语音转换成文字。具体来说，是输入一段语音信号，要找一个文字序列(由词或文字组成)，使得它与语音信号的匹配程度最高。这个匹配程度一般是用概率来表示。用学表示语音信号， 表示文字序列，则要求解的是表示一个文字序列本身的概率表示给定文字后语音信号的概率of288.1语音识别基础—解码器第八章 深度学习在语音中的应用 解码器解码器(Decoder)是