CN119516316B 基于人工智能的多模态数据融合方法及系统 （河南融创新合科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119516316B(45)授权公告日2025.07.04

(21)申请号202411568603.1

(22)申请日2024.11.05

(65)同一申请的已公布的文献号申请公布号CN119516316A

(43)申请公布日2025.02.25

(73)专利权人河南融创新合科技有限公司

地址473000河南省南阳市内乡县湍东镇

鹤鸣路农牧装备园A9栋

(72)发明人冯申陈兴庞斌

(74)专利代理机构郑州大豫知识产权代理事务所(普通合伙)41214

专利代理师余颖华

(51)Int.CI.

GO6V10/80(2022.01)

GO6V20/10(2022.01)

GO6V10/82(2022.01)

GO6N3/0464(2023.01)

(56)对比文件

CN117063820A,2023.11.17CN117743975A,2024.03.22

CN118697303A,2024.09.27审查员魏之慧

权利要求书3页说明书14页附图3页

(54)发明名称

基于人工智能的多模态数据融合方法及系

统

(57)摘要

CN119516316B本申请提供了一种基于人工智能的多模态数据融合方法及系统，涉及数据融合领域，其首先采集农作物生长状态图像、农作物植株本体红外图像和土壤湿度值，然后，在后端引入基于人工智能和深度学习的数据处理和图像分析算法来对这些采集的数据进行分析，以此利用农作物植株本体水分分布特征和土壤湿度时序特征之间的隐式关联来刻画出农作物水分供给跨模态时序联合编码特征，最后进行解码对农作物灌溉量进行优化控制，能够利用人工智能和深度学习技术结合多模态的数据分析来实现更为智能化

CN119516316B

由红外摄像头采集的农作

由红外摄像头采集的农作由土壤湿度传感器采集的

物植株本体红外图像土壤湿度值的时间队列

植物本体水分分布特征提取

基于跨模态优逸的联合编码

农作物水分供给跨模态时序联合编码特征

灌溉时序解码

农作物所需水分时序关联特征

灌溉优化控制

确定推荐的灌溉量

农作物桂林本体水分分布特征

由摄像头采集的农作物生长状态图像

农作物生长语义编码状态特征

土壤湿度时序关联特征

农作物生长状态特征提取

序列编码

CN119516316B权利要求书1/3页

2

1.一种基于人工智能的多模态数据融合方法，其特征在于，包括：

获取由摄像头采集的农作物生长状态图像，并对所述农作物生长状态图像进行农作物生长状态特征提取以得到农作物生长语义编码状态特征；

获取由红外摄像头采集的农作物植株本体红外图像，并对所述农作物植株本体红外图像进行植物本体水分分布特征提取以得到农作物植株本体水分分布特征；

获取由土壤湿度传感器采集的土壤湿度值的时间队列，并对所述土壤湿度值的时间队列进行序列编码以得到土壤湿度时序关联特征；

对所述农作物植株本体水分分布特征和所述土壤湿度时序关联特征进行基于跨模态优选的联合编码以得到农作物水分供给跨模态时序联合编码特征，包括：对所述农作物植株本体水分分布特征和所述土壤湿度时序关联特征进行特征关联编码以得到农作物水分供给跨模态时序隐式共性特征；对所述农作物水分供给跨模态时序隐式共性特征进行特征初步筛选以得到初筛农作物水分供给跨模态时序联合编码特征；对所述初筛农作物水分供给跨模态时序联合编码特征进行特征二级筛选以得到所述农作物水分供给跨模态时序联合编码特征，其中，通过利用一级农作物水分供给跨模态时序特征初筛权重向量，对农作物植株本体水分分布特征图进行特征初步筛选，以按照重要性加权平均的方式重组图像的语义内容，使其更加集中于与水分供给决策直接相关的特征，通过将农作物水分供给跨模态时序隐式共性特征向量输入基于多级门控单元的特征二级筛选模块，以在多个层次上对信息进行精细化管理，以捕捉不同模态间的互补信息与一致性表达，二级特征筛选会对初筛农作物水分供给跨模态时序联合编码特征图进行细化处理，以更深入地挖掘不同模态之间的潜在关联，加强特征间的互动，并提高特征图的整体信息浓度；

对所述农作物水分供给跨模态时序联合编码特征和所述农作物生长语义编码状态特征进行灌溉时序解码以得到农作物所需水分时序关联特征；

基于所述农作物所需