- 1、本文档共32页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
南京邮电大学通信与信息工程学院第11章语音信号情感处理
情感理论与情感诱发实验实用语音情感识别算法应用与展望情感的声学特征分析基于深度学习的语音情感识别
11.1情感理论与情感诱发实验—情感的心理学理论情感识别研究需要以心理学的理论为指导,目前有两大情感论:(1)基本情感论基本情感论认为,人类的复杂的情感是由若干种有限的基本情感构成的,基本情感按照一定的比例混合构成各种复合情感。在语音情感识别的文献中,较多的研究者采用的是6种基本情感状态:“喜悦”“生气”“惊讶”“悲伤”“恐惧”和“中性”。(2)维度空间论情感的维度空间论认为人类所有的情感都是由几个维度空间组成的,特定的情感状态只能代表一个从亲近到退缩或者是从快乐到痛苦的连续空间中的位置,不同情感之间不是独立的,而是连续的,可以实现逐渐的、平稳的转变,不同情感之间的相似性和差异性是根据彼此在维度空间中的距离来显示的。
11.1情感理论与情感诱发实验—情感的心理学理论近年来,最广为接受和得到较多实际应用的维度模型,是下面两个维度组成的二维空间:1)效价度(Valence)或者快乐度(Hedonictone),其理论基础是正负情感的分离激活,这得到了许多研究的证明,主要体现为情感主体的情绪感受,是对情感和主体关系的一种度量。2)唤醒度(Arousal)或者激活度(Activation),指与情感状态相联系的机体能量激活的程度,是对情感的内在能量的一种度量。
11.1情感理论与情感诱发实验—使用语音情感数据库的建立概述:语音情感数据库的建立,是研究语音情感必需的研究基础,具有极为重要的意义。目前国际上流行的语音情感数据库有AIBO语料库、VAM数据库、丹麦语数据库、柏林数据库等。需求及制作过程:面向实际应用的需求,实用语音情感数据库必须要保证语料的真实可靠,不能采用传统的表演方式采集数据。通过实验心理学中的方法来诱发实用语音情感数据,可尽可能地使训练数据接近真实的情感数据。制作过程如下:
11.1情感理论与情感诱发实验—情感语料的诱发方法在传统的语音情感数据库中,往往采用表演的方式来采集数据。演员能通过刻意的控制声音的变化来表演所需要的情感,但表演数据不能提供一个准确的情感模型。为了能更好地研究实际环境中的情感语音,有必要采集除表演语音以外的,较高自然度的情感数据。主要有以下两个方法:通过计算机游戏诱发情感语料通过游戏中画面和音乐的视觉、听觉刺激,能提供一个互动的、具有较强感染力的人机交互环境,能够有效地诱发出被试者的正面与负面的情感。特别是在游戏胜利时,被试者由于在游戏虚拟场景中的成功与满足,被诱发出喜悦等正面情感;在游戏失败时,被试者在虚拟场景中受到挫折,容易引发烦躁等负面情感。2.通过认知作业诱发情感语料通过认知作业诱发情感语料,包括烦躁、疲劳和自信等心理状态的诱发。在一个重复性的、长时间的认知作业中,可采用噪声诱发、睡眠剥夺等手段辅助诱发负面情绪。
11.1情感理论与情感诱发实验—情感语料的主观评价方法?
11.1情感理论与情感诱发实验—情感语料的主观评价方法?
11.1情感理论与情感诱发实验—情感语料的主观评价方法?
情感理论与情感诱发实验实用语音情感识别算法应用与展望情感的声学特征分析基于深度学习的语音情感识别
11.2情感的声学特征分析—情感特征提取?
11.2情感的声学特征分析—情感特征提取短时能量抖动为:短时能量的线性回归系数为:短时能量的线性回归系数的均方误差为:其中,
11.2情感的声学特征分析—情感特征提取?
11.2情感的声学特征分析—情感特征提取?
11.2情感的声学特征分析—情感特征提取4)Mel频率倒谱系数(MFCC)MFCC是从Mel频率刻度域中提取出的倒谱参数,可以通过人耳的听觉原理对其进行分析。它与声音频率的具体关系可近似表示为:MFCC的提取过程为:①对原始语音信号进行分帧加窗预处理;②将预处理后的信号进行离散傅里叶变换(DFT),从而得到语音帧的短时频谱;③将短时频谱的幅度值通过Mel滤波器组进行加权滤波处理;④对Mel滤波器组的全部输出值进行一个求对数计算;⑤将经过求对数计算后得到的值进行离散余弦变换(DCT),从而得到MFCC。5)关联维数Grassberger和Procaccia提出了从时间序列计算吸引子关联维数的G-P算法。定义关联积分为:
11.2情感的声学特征分析—情感特征提取?
11.2情感的声学特征分析—情感特征提取?8)情感特征向量构造全局统计特征和动态特征是两种常用的特征向量构造方法,由于动态特征过分依赖音
您可能关注的文档
- 电工电子技术 1模块一 直流电路 习题答案.docx
- 电工电子技术 2模块二 单相正弦交流电 习题答案.docx
- 电工电子技术 3模块三 三相正弦交流电 习题答案.docx
- 电工电子技术 4模块四 磁路、变压器及异步电动机习题答案.docx
- 电工电子技术 5模块五 半导体器件及应用 习题答案.docx
- 电工电子技术 6模块六 负反馈与集成运放习题答案.docx
- 电工电子技术 7模块七 逻辑门电路及其应用 习题答案.docx
- 电工电子技术 8模块八 组合逻辑电路习题答案.docx
- 电工电子技术 9模块九 时序逻辑电路习题答案.docx
- 语音信号处理 第4版 课件 第3章:语音信号处理的常用算法.pptx
- [北京]2024年北京信息科技大学招聘笔试历年参考题库解题思路附带答案详解.docx
- 互联网彩票行业深度专题研究.pdf
- [北京]2023年北京市密云区事业单位招聘142人笔试历年参考题库解题思路附带答案详解.docx
- [北京]2023年北京市通州区人民检察院聘用制辅助人员招聘30人笔试历年参考题库解题思路附带答案详解.docx
- [北京]2023年北京探矿工程研究所招聘应届毕业生6人笔试历年参考题库解题思路附带答案详解.docx
- [北京]2024年北京市化工职业病防治院招聘笔试历年参考题库解题思路附带答案详解.docx
- [北京]2024年北京昌平区卫生健康委员会招聘57人笔试历年参考题库解题思路附带答案详解.docx
- [北京]2023年北京顺义区卫生健康委事业单位招聘笔试历年参考题库解题思路附带答案详解.docx
- [保山]2024年云南保山施甸县人民医院校园招聘紧缺专业卫生技术人员笔试历年参考题库解题思路附带答案.docx
- [包头]2023年内蒙古包头东河区教育系统招聘中小学教师85人笔试历年参考题库解题思路附带答案详解.docx
文档评论(0)