人工智能基础与应用（第2版）（微课版）课件 7-3 项目1—利用CNN识别英文语音数字.pptx

7-3项目1—利用CNN识别英文语音数字模块?语音识别：让机器对你言听计从

目录CONTENTS提出问题01预备知识03解决方案02任务1—提取音频文件的语音特征数据04任务3—利用训练好的模型来识别语音06任务2—构建语音数字识别神经网络模型05

一.提出问题问题描述在医院、银行、饭店等场所，由于资源和人手受限，人们必须排队等候服务，因此叫号系统应运而生。数字0～9是生活中常见的10个基数，任何一个数字都是由10个基数构成的，如果想通过英文叫号系统将对应的阿拉伯数字及时显示在大屏上，如何实现数字语音到数字文本的转换呢

二.解决方案1.选择神经网络分类解决问题基本思想：首先将语音进行切分，然后提取每个单词的语音特征；其次构建一个多层CNN模型，利用0～9的语音样本集对模型进行训练，得到满足精度的模型；最后利用训练好的模型逐个对提取的单词的语音特征进行分类，看它属于0～9中的哪个数字，最后将识别的数字组合起来就得到识别的结果。

二.解决方案2.具体方案

三.预备知识1.webrtcvad模块切分音频文件中有效的语音信号audios的内容

三.预备知识2.python_speech_features模块提取语音信号的全部特征

三.预备知识2.python_speech_features模块提取语音信号的全部特征提取的语音特征：（部分）

三.预备知识3.PaddlePaddle框架飞桨的应用框架

三.预备知识3.PaddlePaddle框架利用飞浆搭建一个预测房价的神经网络模型输入维度为1输出维度为1为线性模型无需加非线性激活函数

四.任务1——提取音频文件的语音特征数据1.设计特征数据提取类VoiceFeature123将类VoiceFeature另存为VoiceFeature.py文件

四.任务1——提取音频文件的语音特征数据2.提取语音特征数据features包含4个语音数字，其特征数据为13通道3×64的矩阵

五.任务2——构建语音数字识别神经网络模型1.定义语音数字识别神经网络模型均为输出输入为n×13×3×64输出为1×10

五.任务2——构建语音数字识别神经网络模型1.定义语音数字识别神经网络模型模型代码实现

五.任务2——构建语音数字识别神经网络模型1.定义语音数字识别神经网络模型模型代码实现

五.任务2——构建语音数字识别神经网络模型2.模型训练及保存最优模型以动态图的模式实时执行训练，设置CPU/GPU训练模式、优化器、Loss计算方法、精度计算方法等创建定义好的模型AudioCNN实例，并将模型的状态设置为训练加载训练数据和测试数据设置训练迭代次数，启动模型迭代训练。（1）训练保存训练好的模型

五.任务2——构建语音数字识别神经网络模型2.模型训练及保存最优模型以动态图的模式实时执行训练，设置CPU/GPU训练模式、优化器、Loss计算方法、精度计算方法等创建定义好的模型AudioCNN实例，并将模型的状态设置为训练加载训练数据和测试数据设置训练迭代次数，启动模型迭代训练。保存训练好的模型

六.任务3——利用训练好的模型来识别语音1.配置模型识别的机器资源从前面的模型定义和训练来看，训练好最后的模型所花的时间相对较少，这主要是因为所使用的AudioCNN比较简单。但现实生活中，可能会遇到更复杂的机器学习、深度学习任务，需要运算速度更高的硬件（GPU、TPU），甚至同时使用多个机器共同执行一个任务（多卡训练和多机训练）。但本项目是在普通的计算机上进行训练和预测，所以通过以下语句配置模型识别的机器资源。

六.任务3——利用训练好的模型来识别语音2.为模型实例加载模型参数实现代码：模型文件加载模型参数载模仅用于预测

六.任务3——利用训练好的模型来识别语音3.将提取的特征数据输入模型以得到识别结果实现代码：说明卷积神经网络的确可用于语音识别，且能获得较好的识别效果。结论：

人工智能基础与应用Thankyouverymuch!