CN120236172A 基于多模态数据融合的安全预警方法、系统及存储介质 （嘉兴杰出信息科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120236172A(43)申请公布日2025.07.01

(21)申请号202510319613.X

(22)申请日2025.03.18

(71)申请人嘉兴杰出信息科技有限公司

地址314001浙江省嘉兴市南湖区亚太路

778号2幢东B区4楼

(72)发明人许健

GO6NGO6V

GO6NGO6N

3/084(2023.01)20/40(2022.01)3/045(2023.01)

3/0442(2023.01)

(74)专利代理机构嘉兴启帆专利代理事务所(普通合伙)33253

专利代理师韩冰

(51)Int.CI.

GO6V

G08B

GO6V

GO6V

GO6N

10/80(2022.01)31/00(2006.01)10/82(2022.01)

10/74(2022.01)

3/0464(2023.01)

权利要求书3页说明书10页附图3页

(54)发明名称

基于多模态数据融合的安全预警方法、系统及存储介质

(57)摘要

CN120236172A本申请涉及安全预警技术领域，公开了基于多模态数据融合的安全预警方法、系统及存储介质。方法包括：在目标环境部署数据采集设备，采集多模态数据，并进行预处理；分别提取各模态数据的特征；计算不同模态特征之间的相关性，基于相关性得分计算注意力权重，并引入门控机制结合历史数据调整注意力权重；将调整后的注意力权重与各模态数据相乘得到加权模态数据，并进行拼接得到融合模态数据；基于融合模态数据生成训练集和测试集，训练安全预警模型，并通过测试集输出预警结果。根据预警结果计算预测误差，并根据预测误差更新安全预警模型的参

CN120236172A

生成5是+玩来

在指冠

5

CN120236172A权利要求书1/3页

2

1.一种基于多模态数据融合的安全预警方法，其特征在于，所述方法包括：

步骤S1、在目标环境部署数据采集设备用于采集目标环境的多模态数据，数据采集设备包括多种传感器、物联网设备、拍摄设备和音频采集设备，多模态数据包括传感器数据、物联网设备数据、视频数据和音频数据，根据采集数据的特性和预警需求，为不同的数据采集设备设置数据采集频率，将采集的多模态数据进行预处理；

步骤S2、使用时间序列分析模型提取传感器数据的状态变化特征，使用机器学习算法从物联网设备数据提取物联网设备的设备状态特征，使用预训练的卷积神经网络提取视频帧的视频特征，使用深度学习模型提取音频数据的音频特征，将状态变化特征、设备状态特征、视频特征和音频特征统称为模态特征；

步骤S3、计算不同模态特征之间的相关性，基于相关性得分用Sigmoid函数计算对应的注意力权重，还引入门控机制结合历史数据调整注意力权重，将调整后的注意力权重与各模态数据相乘得到加权模态数据，将加权模态数据进行拼接得到融合模态数据；

步骤S4、基于融合模态数据生成训练集和测试集，基于训练集训练安全预警模型，将测试集输入安全预警模型输出预警结果，基于预警结果计算预测误差，根据预测误差更新安全预警模型的参数。

2.根据权利要求1所述的方法，其特征在于，计算不同模态特征之间的相关性，包括：

基于时间戳对传感器数据、物联网设备数据、视频数据和音频数据在时间维度上进行对齐，使用线性变换将不同的模态特征映射到相同的维度，使用非线性激活函数对进行线性变换后的模态特征引入非线性转换，对进行非线性转换后的模态特征进行归一化处理，计算不同模态特征之间的相似度得分，对计算得到的相似度得分进行归一化处理，将归一化处理后的相似度得分作为对应的不同模态数据之间的相关性。

3.根据权利要求2所述的方法，其特征在于，计算不同模态特征之间的相似度得分，包

括：

使用多种不同的相似度算法计算每两个不同模态特征之间的相似度获取到多个不同的基础相似度得分，对每两个不同模态特征，计算对应多个基础相似度得分的绝对值之和，将每个基础相似度得分的绝对值除以绝对值之和得到每个相似度算法的初始权重因子，为每个相似度算法引入变化参数，基于变化参数调整不同相似度算法的权重因子，将调整后的权重因子和对应基础相似度得分进行加权运算得到混合相似度得分，将混合相似度得分作为不同模态特征之间的相似度得分。

4.根据权利要求3所述的方法，其特征在于，基于变化参数调整不同相似度算法的权重因子，包括：

初始化变化参数，