CN120236061A 基于多模态持续学习的林业场景目标检测方法及系统 （东南大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120236061A(43)申请公布日2025.07.01

(21)申请号202510301876.8

(22)申请日2025.03.14

(71)申请人东南大学

GO6N3/08(2023.01)

GO6V10/764(2022.01)

地址211189江苏省南京市江宁区东南大

学路2号

(72)发明人路小波程西蒙

(74)专利代理机构南京众联专利代理有限公司

32206

专利代理师叶倩

(51)Int.CI.

GO6V10/25(2022.01)

GO6V10/82(2022.01)

GO6V10/80(2022.01)

GO6V10/74(2022.01)

GO6N3/045(2023.01)

权利要求书2页说明书8页附图2页

(54)发明名称

进行数据采集，在林业监测现场拍摄并获取多模态数据，将所获取的多模态数据集划分为多个子数据集。对所述子数据集进行预处理，应用图像增强技术，

进行数据采集，在林业监测现场拍摄并获取多模态数据，将所

获取的多模态数据集划分为多个子数据集。

对所述子数据集进行预处理，应用图像增强技术，然后进行目标标注，最后去除标注错误或质量低劣的图像。

选择视觉语言预训练目标检测模型作为基础模型，

构建包含自适应专家扩展模块、频域路由器模块以及基于球

面线性插值的权重融合方法的增量混合模型

采用持续学习方法对所述增量混合专家模型框架进行训练，

按顺序引入领域增量任务和类别增量任务，触发自适应专家

扩展模块和频域路由器模块的相应操作。

基于增量混合专家模型的目标检测推理，对

待检测林业图像样本傅里叶变换并查询相似度最高专家，激

活该专家进行图像特征提取，最终模型输出目标检测结果。

(57)摘要

CN120236061A本发明公开了一种基于多模态持续学习的林业场景目标检测方法及系统，包括建立多模态数据集、数据预处理、构建增量混合专家模型、模型训练和目标检测推理五个步骤，通过构建一个增量混合专家模型，结合自适应专家扩展模块、频域路由器模块以及基于球面线性插值的权重融合方法，实现对多模态林业场景目标的高效、准确检测。本发明方法能够在不断引入新任务的过程中，动态生成和调整专家模块，以适应不同领域和类别的目标检测需求，且有效防止灾难性遗忘现象，保持模型对先前任务的稳健

CN120236061A

CN120236061A权利要求书1/2页

2

1.基于多模态持续学习的林业场景目标检测方法，其特征在于，包括如下步骤：

S1、建立多模态数据集：在林业监测现场采集多模态数据，建立多模态数据集，并将数据集根据检测任务划分为多个子数据集；

S2、数据预处理：对步骤S1划分的子数据集进行预处理，所述预处理至少包括图像增强、目标标注及数据清洗；

S3、构建增量混合专家模型：所述增量混合专家模型以视觉语言预训练目标检测模型作为基础模型，至少包括自适应专家扩展模块、频域路由器模块以及基于球面线性插值的权重融合方法，用于支持目标检测任务的持续学习；其中，自适应专家扩展模块动态生成和调整专家模块；频域路由器模块被插入到所有专家模块前，负责任务分类和专家激活；基于球面线性插值的权重融合方法负责新旧专家模块的权重融合；

S4、模型训练：对步骤S3构建的增量混合专家模型进行训练，根据任务类型，通过自适应专家扩展模块动态生成新的专家模块或复制现有专家模块，通过基于球面线性插值的权重融合方法进行权重融合，动态调整专家模块的参数，获得最优模型；

S5、目标检测推理：将待检测样本输入步骤S4获得的最优模型中，频域路由器模块根据输入样本的路由特征，计算其与所有已学习路由特征的相似度，激活相似度最高的专家模块进行目标检测，输出目标检测结果。

2.如权利要求1所述的基于多模态持续学习的林业场景目标检测方法，其特征在于：所述步骤S3的自适应专家扩展模块中，初始专家模块用于处理初始的目标检测任务，

当接收到新的领域增量任务时，动态生成新的专家模块，并将其