CN120234731A 基于振动与视觉数据多模态融合的岩体异常检测方法 （重庆华地资环科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120234731A(43)申请公布日2025.07.01

(21)申请号202510314290.5

(22)申请日2025.03.17

GO6N3/0455(2023.01)

GO6F18/213(2023.01)

GO6F18/25(2023.01)

(71)申请人重庆华地资环科技有限公司

地址401120重庆市渝北区兰馨大道111号

申请人西南大学

(72)发明人杨勇陈立川包琴张衡廖云平康燕飞陈斌李辉徐洪张俊杰闫奇

(74)专利代理机构重庆蕴博君晟知识产权代理

事务所(普通合伙)50223专利代理师王玉芝

(51)Int.CI.

GO6F18/2433(2023.01)

GO6N3/0442(2023.01)

GO6N3/0464(2023.01)

权利要求书1页说明书6页附图1页

(54)发明名称

基于振动与视觉数据多模态融合的岩体异常检测方法

(57)摘要

CN120234731A本发明涉及地质勘察与测量技术领域，具体涉及一种基于振动与视觉数据多模态融合的岩体异常检测方法，首先分别采集振动数据和图像数据，再通过深度学习模型进行数据特征提取与融合，具体使用长短期记忆网络LSTM和卷积神经网络CNN的组合模型提取振动数据的时序特征和频率信息，通过Swin-T模型提取图像数据的空间特征，然后使用共享Transformer编码器与交叉注意力机制实现多模态数据对齐和融合，再将融合后的特征输入异常检测模块进行训练调优，最后将训练好的模型部署到边缘设备上用于岩体的异常检测。本发明通过多模态数据融合，在各类复杂环境下准确识别异常，从而减少误报和漏

CN120234731A

采集振动数据和图像数据，分别形成数据集；

采集振动数据和图像数据，分别形成数据集；

数据预处理后，使用长短期记忆网络LSTM和卷积神经网络CNN的组合模型来提取振动数据的特征，使用Swin-T模型提取图像数据中的空间特征；

使用共享的Transformer编码器对齐网络对提取特征进行对齐，采用交叉注

意力机制来进一步融合；

将融合后的特征输入异常检测模型训练调优；

评估训练过程，将训练好的模型部署到边缘设备上进行应用。

S1

S2

S3

S4

S5

CN120234731A权利要求书1/1页

2

1.一种基于振动与视觉数据多模态融合的岩体异常检测方法，其特征在于，包括下列步骤：

步骤1:采集振动数据和图像数据，分别形成数据集；

步骤2:数据预处理后，使用长短期记忆网络LSTM和卷积神经网络CNN的组合模型来提取振动数据的特征，使用Swin-T模型提取图像数据中的空间特征；

步骤3:使用共享的Transformer编码器对齐网络对提取特征进行对齐，采用交叉注意力机制来进一步融合；

步骤4:将融合后的特征输入异常检测模型训练调优；

步骤5:评估训练过程，将训练好的模型部署到边缘设备上进行应用。

2.如权利要求1所述的基于振动与视觉数据多模态融合的岩体异常检测方法，其特征在于，

步骤1中的振动数据通过安装在岩体关键部位的振动传感器实时采集获得，表现为时序数据，包含加速度、位移和频率多个振动特征；图像数据通过岩体周围的高清摄像头或无人机拍摄获取，所述图像数据为二维空间数据。

3.如权利要求2所述的基于振动与视觉数据多模态融合的岩体异常检测方法，其特征在于，

在步骤2中，所述组合模型中的长短期记忆网络LSTM用于捕捉振动信号的时序特性，卷积神经网络CNN用于从长短期记忆网络LSTM输出的特征中提取局部特征和频率信息，所述组合模型提取获得具有时序依赖和频率信息的振动特征表示。

4.如权利要求3所述的基于振动与视觉数据多模态融合的岩体异常检测方法，其特征在于，

所述Swin-T模型通过局部窗口的自注意力机制，首先在局部区域内学习图像的细粒度信息，进一步随着网络深度的增加逐步拓展感受野，学习岩体表面各个区域之间的空间关联性。

5.如权利要求4所述的基于振动与视觉数据多模态融合的岩体异常检测方法，其特征在于，

步骤3中共享的Transformer编码器对齐网络通过学习振动数据与图像数据之间的时空关系，确保来自不同模态的数据能够在同一时间尺度上对齐，得到新的全局联合特征。

6.如权利要求5所述的基于振动与