CN120236609A 一种基于语音和语义识别的用户心理状态监测方法及系统 （金华高等研究院(金华理工学院筹建工作领导小组办公室)）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120236609A(43)申请公布日2025.07.01

(21)申请号202510301463.X

(22)申请日2025.03.14

(71)申请人金华高等研究院(金华理工学院筹建工作领导小组办公室)

地址321015浙江省金华市金东区环城南

路99号

(72)发明人张竹韩天冯洋王力禾

姚怡雪

(74)专利代理机构北京盛询知识产权代理有限

公司11901专利代理师相凡

G10L

G16H

G16H

G16H

GO6F

GO6F

GO6F

GO6N

GO6N

GO6N

GO6N

GO6F

25/30(2013.01)

50/30(2018.01)

50/70(2018.01)

10/60(2018.01)

18/2415(2023.01)

18/213(2023.01)

18/25(2023.01)

3/0464(2023.01)

3/047(2023.01)

3/0455(2023.01)3/08(2023.01)

123/02(2023.01)

(51)Int.CI.

G10LG10L

G10L

25/63(2013.01)

25/24(2013.01)

25/18(2013.01)

权利要求书2页

说明书9页附图1页

(54)发明名称

一种基于语音和语义识别的用户心理状态监测方法及系统

(57)摘要

CN120236909A本发明涉及一种基于语音和语义识别的用户心理状态监测方法及系统，该方法首先获取用户的语音数据和对应文本数据，分别提取语音频谱特征向量和文本特征向量；然后，将两种特征输入跨模态联合编码网络模型，利用多头注意力机制对齐语音频谱与文本嵌入空间，获取联合特征；接着，通过贝叶斯网络模型提取联合特征的置信度权重，得到加权特征，并利用高斯混合模型拟合情绪波动趋势，计算情绪分布概率；根据情绪分布概率动态调整置信度权重，获得新的加权特征，经时序对齐处理后，使用卷积神经网络提取局部信息并融合特征；最后，通过softmax函数计算分类概率，

CN120236909A

获取用户的语音数据及其对应的文本数据，分别提取语音

获取用户的语音数据及其对应的文本数据，分别提取语音数据中的语音频谱特征向量和文本特征向量

将两种特征输入跨模态联合编码网络模型，利用多头注意力机制对齐语音频谱与文本嵌入空间，获取联合特征；通过贝叶斯网络模型提取联合特征的置信度权重，得到加权特征，并利用高斯混合模分型布拟概合率情绪波动趋势，计算情绪

根据情绪分布概率动态调整置信度权重，获得新的加权特

征，经时序对齐处理后，使用卷积神经网络提取局部信息

并融合特征，通过softmax函数计算分类概率，确定用户心

理状态分类结果

CN120236609A权利要求书1/2页

2

1.一种基于语音和语义识别的用户心理状态监测方法，其特征在于，包括：

获取用户的语音数据及其对应的文本数据，分别提取所述语音数据中的语音频谱特征向量和文本特征向量；

将所述语音频谱特征向量和所述文本特征向量输入跨模态联合编码网络模型，利用多头注意力机制对语音频谱与文本嵌入空间对齐，获取联合特征；

采用贝叶斯网络模型提取所述联合特征的置信度权重，获取加权特征，利用高斯混合模型拟合加权特征中的情绪波动趋势，获取情绪分布概率；

根据所述情绪分布概率动态调整所述联合特征的置信度权重，进一步获取新的加权特征，通过时序对齐算法对新的加权特征表示进行对齐处理，采用卷积神经网络模型从对齐后的特征序列中提取局部信息，并进行特征融合，针对融合后的特征向量，通过softmax函数进行分类概率计算，确定最终用户心理状态分类结果。

2.根据权利要求1所述的基于语音和语义识别的用户心理状态监测方法，其特征在于，提取所述语音数据中的语音频谱特征向量包括：

对所述语音数据进行频谱分析，得到频谱图，从所述频谱图中提取梅尔频率倒谱系数，生成梅尔系数据，根据所述频谱图计算基频值，获取基频数据，从所述频谱图中提取能量谱，生成能量谱数据，进一步分析所述语音数据的时长与音节数量，确定语速值；

将所述梅尔系数据、所述基频数据、所述语速值和所述能量谱数据整合为声学参数集，将所述声学参数集输入特征提取器，生成语音特征向量。

3.根据权利要求1所述的