一种基于谱图特征的并行卷积循环神经网络的语音情感识别方法 .pdfVIP

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(10)申请公布号CN110534132A

(43)申请公布日2019.12.03

(21)申请号CN201910901182.2

(22)申请日2019.09.23

(71)申请人河南工业大学

地址450001河南省郑州市高新技术产业开发区莲花街100号河南工业大学科技处

(72)发明人姜芃旭雷沛之傅洪亮

(74)专利代理机构

代理人

(51)Int.CI

权利要求说明书说明书幅图

(54)发明名称

一种基于谱图特征的并行卷积循环

神经网络的语音情感识别方法

(57)摘要

本发明公布了一种基于谱图特征的

并行卷积循环神经网络的语音情感识别方

法。包括以下步骤：首先，从每条语音中

提取帧级特征，并利用长短期记忆网络逐

帧进行高级特征提取。同时，计算帧级特

征的一阶差分以及二阶差分，并将其组合

成三维特征，通过卷积神经网络来对这些

三维特征进行高级特征提取。然后将两个

高级特征融合并进行批归一化处理。最

后，使用SoftMax分类器对情感进行分

类。本发明的基于谱图特征的并行卷积循

环神经网的语音情感识别方法，模块内部

采用并行的连接结构来同时处理谱图特

征，能够有效的提升语音情感识别的性

能。

法律状态

法律状态公告日法律状态信息法律状态

发明专利申请公布后的视为撤回

IPC(主分类):G10L25/03专利申发明专利申请公布后

2023-03-03

请号:2019109011822申请公布的视为撤回

日

权利要求说明书

1.本发明公布了一种基于谱图特征的并行卷积循环神经网络的语音情感识别方法,其

特征在于:包括以下步骤,

步骤(A)对原始语音数据预处理;

步骤(B)提取语音中的帧级特征;

步骤(C)利用并行卷积循环神经网络(PCRN)来提取高级特征并进行特征融合;

步骤(D)对融合特征进行批归一化(BN)处理;

步骤(E)利用softmax分类器对情感进行分类。

2.根据权利要求1所述的一种基于谱图特征的并行卷积循环神经网络的语音情感识

别方法,其特征在于:步骤(A),对原始语音数据预处理,为了提高模型的收敛速度,首先

对原始语音波形进行归一化处理。

3.根据权利要求1所述的一种基于谱图特征的并行卷积循环神经网络的语音情感识

别方法,其特征在于:步骤(B),提取语音中的帧级特征,包括以下步骤,

将步骤(A)中预处理过后的语音进行预加重,将语音信号通过一个高通滤波器:

H(Z)=1-μz

-1

预加重的目的是提升高频部分,使信号的频谱变得平坦;

然后对信号进行分帧,将N个采样点集合成一帧,并且为了避免相邻两帧的变化过大,

因此会让两相邻帧之间有一段重叠区域,我们将帧长设置为400,帧移设置为160;

将每一帧乘以汉明窗,以增加帧左端和右端的连续性,假设分帧后的信号为

S(n),n=0,1,...,N-1,N为帧的大小,那么乘上汉明窗后:

S′(n)=S(n)×W(n)

W(n)为汉明窗:

对加窗后的数据进行快速傅立叶变换,将时域中的信号转化为频域中进行观察,在乘

上汉明窗后,每帧还必须再经过快速傅里叶变换以得到在频谱上的能量分布,设语音

信号的DFT为:

x(n)为输入的语音信号;

然后将能量谱通过一组Mel尺度的三角形滤波器组,定义一个有M个滤波器的滤波

器组,M取64,Mel滤波器的主要作用是对频谱进行平滑化,并消除谐波的作用,突显

原先语音的共振峰,将原始语音信号进行一系列操作后得到的帧级特征作为下一步

模型输入的特征之一,然后求出每段帧级特征的一阶差分和二