基于深度跨模态哈希策略的农业中草药种植知识检索系统.pdf

摘要

随着生活水平的提高，农业中草药种植业蓬勃发展，如何科学种植农业中草药成

为业内焦点。传统农业中草药种植知识传播方式受限于口口相传，受众有限。近三十

年来，互联网技术的发展诞生了农业中草药种植知识检索系统，通过关键词检索迅速

普及知识。然而，近十年内，移动互联网与多媒体技术的融合使得多模态数据（图像、

文本、视频、音频）在网络中涌现。针对这一问题，本文首先提出一个深度跨模态哈

希检索算法，并基于提出的算法设计实现一个农业中草药种植知识检索系统。具体而

言，论文的研究工作主要分为两个方面：

①针对现有方法在统一语义特征提取和哈希学习方面虽然取得了一些成果，但常

常忽视了不同模态之间的不对称问题和语义鸿沟。这些问题将导致模态数据处理中的

偏见，从而影响跨模态检索的准确性和效率。为了解决这些问题，本研究引入自注意

力机制（Self-attention）以提高语义信息的表达，并通过图卷积神经网络（Graph

ConvolutionalNetwork，GCN）对特征进行拼接，实现了对模态之间关系的有效建模，

这使得模型能更好地捕捉不同模态数据之间的语义关联，有效地整合模态间的信息，

从而缩小了不同模态之间的距离。因此，提出了一种基于自注意力机制和图卷积神经

网络的跨模态哈希检索算法（Self-AttentionandGraphConvolutionalNetworkHashing

forCross-ModalRetrieval，SAGCNH）。为了验证SAGCNH算法的有效性，本文在两个

跨模态检索公开数据集上进行验证，选择了几个较为先进的跨模态哈希检索算法进行

对比实验，结果表明本文提出的SAGCNH算法能取得较高的跨模态检索精度。

②针对现有单一检索方式的系统不能实现跨模态种植知识检索的问题，本文设计

并实现了一个基于深度跨模态哈希的农业中草药种植知识检索系统。系统将本文提出

的哈希算法模型进行封装和微调，通过迁移学习的方式，实现了跨模态检索的完整过

程。该系统不仅能够提升信息检索的效率和准确性，还能够为农业中草药种植的研究

和实践提供强大的支持和便利。

关键词：农业中草药种植知识系统，跨模态哈希检索，自注意力机制，图卷积

网络

I

Abstract

Withtheimprovementoflivingstandards,theagriculturalherbcultivationindustryis

flourishing,andhowtoscientificallyplantagriculturalherbshasbecomeafocusofthe

industry.ThedisseminationofknowledgeabouttraditionalChineseherbalmedicine

cultivationinagricultureislimitedbywordofmouthandhasalimitedaudience.Inthepast

threedecades,thedevelopmentofInternettechnologyhasgivenbirthtotheagricultural

Chineseherbalmedicineplantingknowledgeretrievalsystem,whichrapidlypopularizes

knowledgethroughkeywordretrieval.However,inthepastdecade,theconvergenceof

mobileInternetandmultimediatechnologyhasmademultimodaldata(images,text,video,

audio)emergeinthenetwork.Inresponsetothisissue,thisarticlefirstpropo