语音识别之声学模型的CTC解码.pptx

语音识别

——声学模型的CTC算法AI小组吴宏和2019-01-16

目录语音识别语音识别发展语音识别的基本架构基于深度学习的语音识别CTC(连接时序分类)算法实验效果TODO互动

语音识别语音识别（SpeechRecognition）技术，目标是以计算机自动将人类的语音内容转换为相应的文字。

语音识别发展

语音识别发展时间方法主要功能主要局限1950年单一模型匹配只能识别有限的词汇或数字识别的不是句子也不是词汇1970年模式和特征分析能识别少量的声音能识别句子，但准确度很低1980-2000年统计方法(GMM-HMM)能连续处理特定词汇，因此识别准确度更高，2001年达到80%准确度起初系统运行慢，但90年代微处理芯片的发展，系统速度加快并首次投入商业应用2010年深度神经网络采用深度神经网络来训练模型，精度明显提升，2017年6月Google达到95%精度需要大量训练数据，在噪音大、远场识别等场景下的识别精度还在攻克中

语音识别基本架构

语音识别基本架构

语音识别基本架构两个模型声学模型：对发声的建模，它能够把语音输入转换成声学表示的输出，即给出语音属于某个声学符号的概率。语言模型：简单说即消解多音字的问题。在声学模型给出发音序列之后，从候选的文字序列中找出概率最大的字符串序列。

基于深度学习的语音识别深度学习(DeepLearning，DL)是指利用多层的非线性信号和信息处理技术，通过有监督或者无监督的方法，进行信号转换、特征提取以及模式分类等任务的机器学习类方法的总称。

基于深度学习的语音识别DNN适合语音识别，主要有如下几个特点（对比GMM高斯混合模型）：DNN可以将相邻的语音帧拼接起来作为输入特征，使得更长时的结构信息得以描述DNN的输入特征可以是多种特征的融合，也可以是离散或者连续的特征DNN不需要对语音数据分布进行假设

基于深度学习的语音识别主要的DNN算法：RNN（循环神经网络）CNN（卷积神经网络）LSTM（长短时记忆网络）FSMN（前馈型序列记忆网络）DFCNN（全序列卷积神经网络）...

CTCCTC（ConnectionistTemporalClassification，连接时序分类）一种端到端的深度神经网络工具，其特点是让网络自动学会对齐。

CTC语音识别需大量的音频数据集和对应的转录，而转录中的字符和音频中的音素对齐需要非常繁琐耗时的工作。主要有3个难点（X代表音频序列，Y代表语音对应的转录文本）：X和Y的长度是可变化的X和Y的长度比例也是可变化的X和Y没有严格对齐

CTCCTC算法刚好能解决这些问题，给定一个X，它能基于所有可能是准确映射的Y给出输出分布。根据这个分布，我们可以推理最可能的输出，或计算分布内各字符的可能性概率。

基于CTC的语音识别训练流程特征提取切片DNN输出特征矩阵CTCLoss计算解决的问题语音与文本的对齐基于字典的解码

网络结构

特征提取将原始的wav语?信号通过分帧加窗/傅?叶变换的操作转换为神经?络需要的?维频谱图像信号，即语谱图。

切片将语谱图以定?时间切?，如20ms每个切?的取值：CTC空字符字符集（如汉语拼?，或英?的26个字?）

切片

DNN输出特征矩阵

CTC-Loss

CTC解码最优路径解码Beam-Search解码WordBeamSearch解码

最优路径解码

Beam-Search解码

WordBeamSearch解码流程对单词词典构建一棵前缀树CTC解码时基于前缀树进行受限解码

实验效果指令识别的正确率从45.0%提升至88.3%。模型训练的语料不足200小时使用CTC根据词典进行动态解码示例给{人名}加{多少}分

TODO语言模型长语音识别

互动

分组讨论哪些场景下使用语音识别功能，比较有趣？

谢谢