Python人工智能技术与应用课件：认知和处理音频数据.pptxVIP

认知和处理音频数据

掌握基于深度学习的语音处理技术应用;

任务导入TaskMp

第一个设计理念要求是便捷。你作为公司的语音识别工程师，岗位职

责是协助语音识别、合成及对话系统的搭建及测试；

现需要你搭建一个能够能够通过语音控制网页的系统、实现能够通

过语音控制网页的移动，使得驾驶员在驾驶或操作车辆的便捷地使用车内网络服务，而不必转移注意力。;

素养目标

·引导问题的过程中，培养学生形成勤于思考的能力

·获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。;

音频数据的定义与关键概念

语音数据预处理

常用语音数据特征提取技术Python实现语音控制网页;

音频的种类多种多样，音频分类研究中一般将

音频分为语音、音乐、噪音、静音、环境音等类别。;

其中语音又可以分为男声、女声、高音、低音

等，音乐可以细分为不同的音乐流派、不同乐器演奏的音乐等。;

音频格式：想要将录制的音频文件转移在计算机内进行播放，必然需要将音频文件保存为一

定的格式，可能还会需要在不同文件格式之间进行格式转换，不同文件格式对原始音频的保存和压缩方式也不尽相同。;

时域和频域

时域：指的是信号的变化随时间的变化，也就是信号的时间特性；

频域：指的是信号的变化随频率的变化，也就是信号的频率特性。;

01音频数据的定义与关键概念

(二)音频关键概念

音调和声音的频率

音调是指声音的高低，而声音的频率是指声音每秒钟可以完成的周期数，单位是赫兹(Hz)。;

01音频数据的定义与关键概念

(二)音频关键概念

采样点

在数学和信号处理领域，采样点是指在某个时间点或时刻对信号进行采样(即

取样)所得到的值。这个时间点通常是均匀分布的，即每个采样点之间的时间间隔相等。;

01音频数据的定义与关键概念

(二)音频关键概念

声道

声道是指声音传输的通道或路径。

在音频系统中，声道通常是指从声源到听者的

声音传输路径，包括从麦克风或录音设备捕捉

声音、通过各种信号处理和调音台进行调整和

处理，最终通过扬声器或???机播放出来的过程。

声道数量可以根据需要而变化，常见的有单声

道、立体声、5.1声道、7.1声道等。在电影

院中，声道还包括从电影放映机到扬声器的声

音传输路径。;

01音频数据的定义与关键概念

(二)音频关键概念

采样宽度

采样宽度是数字音频处理中的一个重要参数，也称为量化位数。它指定了一

个样本的编码位数，也就是用多少位来表示一个采样值。常见的采样宽度有8位、16位、24位和32位等。

采样宽度的值越大，表示每个采样值被编码的精度越高，音频的动态范围也越

大，声音质量也越好，但相应的占用的存储空间也会更大。

例如，使用16位采样宽度可以表示2的16次方(65536)个不同的采样值，而使用8位采样宽度只能表示2的8次方(256)个采样值。;

由于我们常用的信号处理方法都要求信号是连续的，也就说必须是信号开始到

结束，中间不能有断开。然而我们进行采样或者分帧后数据都断开了，所以要在帧与顿之间保留重叠部分数据，以满足连续的要求，这部分重叠数据就是帧移。;

语音信号质量的影响因素主要在于人类发声器官本身和由于采集语音信号的设备所带来的。;

例如年龄、健康状况、情绪状态、饮食和环境

因素等，这些因素都可能会对语音信号的质量产生影响。;

常见的语音采集设备包括话筒、麦克风和录音

机等，它们的质量和类型都会影响采集到的语音信号的质量。例如，高质量的话筒或麦克风可以提供更清晰、更准确的语音信号，而低质量的话筒或麦克风则可能会产生噪声、失真和其他干扰信号，降低语音信号的质量。;

语音数据预处理

(二)语音信号的预处理

为保证后续语音处理得到的信号更均匀、平滑，为信号参数提取提供优质的参数，提高语音

处理质量，需要进行语音信号数据预处理流程。;

随着信号速率的增加，信号在传输过程中

受损很大，为了在接收终端能得到比较好的信号波形，就需要对受损的信号进行补偿，预加重技术的思想就是在传输线的始端增强信号的高频成分，以补偿高频分量在传输过程中的过大衰减。;

分帧可以帮助提高特征提取的精度，消除

语音信号中的干扰，并有助于识别说话人的语言。通常，音频分帧的长度设定为几十毫秒到一秒，具体长度取决于应用领域和处理目标。帧长过长会导致信号失真，帧长过短则会增加处理难度和计算复杂度。;

(二)语音信号的预处理

加窗

加窗是指通过对音频信号的一段连续时间应用一个数学函数，以减少信号的频率分量

的??扰。这个数学函数称为窗函数。

加窗可以改善音频信号的频谱分析结果，消除信号周期性导致的边缘效应，提高特征提取的精度，从而提高识别的准确率。

处理信号的方法要求信号是连续