面向本科教育的语音情感识别实验设计与实现.pdfVIP

面向本科教育的语音情感识别实验设计与

实现

作者：唐闺臣梁瑞宇王杰

来源：《大学教育》2018年第9期

摘要］针对本科语音信号处理课程和实验教学中的问题，以语音情感识别实验为例，以

MATLAB为实验平台，研究面向本科教育的语音实验的设计与实现。在前期基础实验的基础上，

语音情感识别实验分为特征提取，模式识别算法两大部分，通过原理讲解，实例参考，过程解

析，由浅入深引导学生完成整个实验过程。实验效果显示，面向应用的语音信号处理实验有助

于激发学生的学习兴趣，加深学生对理论知识的理解，同时为学生和科研工作者进行课题和竞

赛开阔思路和积累实践经验。

［关键词］本科教育；语音信号处理；情感识别

［中图分类号］G642.423［文献标识码］A［文章编号］2095-3437（2018）09-0105-

03

语音信号处理是用数字信号处理技术和语音学知识对语音信号进行处理的一门新兴学科，

是一门理论性强、实用面广、内容新、难度大的交叉学科［1］［2］。语音信号处理作为信息

处理专业的一门重要的专业课，所涉及的理论知识较多。从应用方面来说，包括语音增强、语

音编码、语音合成、语音识别、说话人识别、情感识别［3］、语音隐藏、声源定位等。围绕着

这些应用，该课程还会涉及一些相关理论，如矢量量化、隐马尔科夫模型、高斯混合模型，支

撑向量机等。因此，如何激发学生的学习兴趣，让学生从枯燥的理论中走出来，是提升课堂教

学质量的关键。

当今世界科技水平高速发展，人们也对计算机提出了更多要求。在人机交互系统中，语音

情感识别已成为关键技术之一，对语音信号的情感分析，使得人机交互更加流畅［4］。智能人

机交互系统通过对操作者的情感进行分析，可以更主动、更准确的去完成操作者的指示，并实

时调整对话的方式，使交流变得更加友好、和谐和智能。此外，在单调的、高强度的任务中，

执行人员的某些负面情绪监测具有使用价值，有效的识别这些负面情绪，有助于提高个体认知

和工作效率，减少影响认知和工作能力的因素。因此，对语音信号情感识别的研究具有重要意

义。

目前，很多高校语音信号处理的授课时间在32到48学时之间。在短暂的课堂授课时间内，

要想使学生对各种应用有所了解，并从中选择一到两种进行深入研究是一件非常困难的事。为

此，很多高校都会增加实验环节，让学生对课堂内容进行巩固和吸收［5］［6］。目前，语音

信号处理实验主要以MATLAB仿真为主［7］，其目的在于快速帮助学生理解理论知识。

为此，综合目前语音研究的热点问题以及语音信号处理的教学现状，本文以语音情感识别

实验为例，以MATLAB为实验平台，介绍了面向本科教育的语音实验的设计与实现。在前期基础

实验的基础上，语音情感识别实验分为特征提取，模式识别算法两大部分，通过原理讲解，实

例参考，过程解析，由浅入深地引导学生完成整个实验过程。实验效果显示，相比于枯燥的理

论实验，有一定应用背景的实验更能激发学生的学习热情，提升教学质量。

一、语音信号处理课程设置

针对语音信号处理的重点内容，以48学时课程为例，将语音信号处理课程设置为理论教学

（36课时）、实验教学（12课时）和综合课题三个组成部分。理论教学注重培养学生基本问题

的分析方法，从而掌握基本的语音信号处理的理论与概念。教学形式多样，包括网上学习、课

外阅读、大型作业、主题调查、读书报告、分组讨论等。对语音信号的原理与方法，课堂教学

尽可能用简明、通俗的语言，以深入浅出、通俗易懂的方式讲解，并借助Flash动画、语音样

本等形式展现出来。

语音实验共包含6种。1.语音采集与预处理实验。开设目的：让学生了解MATLAB采集语音

信号的原理及常用命令，熟练掌握基于MATLAB的语音文件的创建与读写等基本操作，学会使用

Plot命令来显示语音信号波形并掌握基本的标注方法，掌握语音信号的预处理方法。2.语音信

号时域特征分析实验。实验目的：让学生了解语音信号分帧与加窗的重要性和必要性，掌握常

用的窗函数和加窗分帧处理的原理，能编程实现分帧函数并恢复，掌握短时时域分析的一些参

数计算方法，了解短时傅里叶变换的原理并编程实现短时傅里叶函数，了解语谱图的意义和表

现方法并编程实现。3.倒谱分析与MFCC系数实验。开设目的：让学生了解语音信号倒谱分析的

意义，掌握语音信号倒谱和复倒谱分析的原理，编程实现倒谱和复倒谱计算函数。4.语音端点

检测实验。开设目的：让学生了解线性预测分析在语音信号处理中的重