CN112231535A 一种农业病虫害领域多模态数据集制作方法、处理装置和存储介质 （山东科技大学）.docxVIP

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号CN112231535A

(43)申请公布日2021.01.15

(21)申请号202011147063.1GO6N20/00(2019.01)

(22)申请日2020.10.23

(71)申请人山东科技大学

地址266590山东省青岛市经济技术开发

区前湾港路579号

(72)发明人曾庆田王善松倪维健段华

鲁法明宋戈林泽东

赵华

(74)专利代理机构济南金迪知识产权代理有限

公司37219代理人许德山

(51)Int.CI.

GO6F16/951(2019.01)

GO6F16/9535(2019.01)

GO6F40/289(2020.01)

权利要求书3页说明书10页附图5页

(54)发明名称

一种农业病虫害领域多模态数据集制作方法、处理装置和存储介质

(57)摘要

CN112231535A本发明涉及一种农业病虫害领域多模态数据集制作方法、处理装置和存储介质，包括步骤如下：首先，收集农业病虫害的类别，并建立层级分类系统；其次，搜集农业病虫害类别对应的农业技方以及农业病虫害类别对应的图片；最后，转换为结构化数据，并依次进行内容过滤、分词，获取农业病虫害领域文本模态数据集；对搜集的农业病虫害类别对应的图片中的无用图片做初步过滤，进行数据增强处理，得到农业病虫害领域图像模态数据集。本发明通用而高效，解决了数据来源和制作的难题，改善了以往数据集制作方法中摄像设备单一、采集地点有限、效率低、成

CN112231535A

层级分类系统建立模块

层级分类系统建立模块

农业技方搜集模块

图片搜集模块

结构化处理模块

初步过滤模块

内容过滤模块

分词模块

文本模态数据集单元

图像模态数据集单元

数据增强模块

CN112231535A权利要求书1/3页

2

1.一种农业病虫害领域多模态数据集制作方法，其特征在于，包括步骤如下：

首先，收集农业病虫害的类别，并建立层级分类系统；

其次，根据农业病虫害类别，搜集农业病虫害类别对应的农业技方，以及农业病虫害类别对应的图片；

最后，将搜集的农业病虫害类别对应的农业技方转换为结构化数据，并依次进行内容过滤、分词，获取农业病虫害领域文本模态数据集；

对搜集的农业病虫害类别对应的图片中的无用图片做初步过滤，并输入专门编写的可显示图片内容、图片标题、病害或虫害的名称的软件，人工进行进一步过滤，滤除非专业人士可辨认的无用图片，所述非专业人士可辨认的无用图片为图片标题和实际显示图片不符的图片；再进行数据增强处理，得到农业病虫害领域图像模态数据集；最终，获取了农业病虫害领域多模态数据集，农业病虫害领域多模态数据集包括农业病虫害领域文本模态数据集、农业病虫害领域图像模态数据集。

2.根据权利要求1所述的一种农业病虫害领域多模态数据集制作方法，其特征在于，收集农业病虫害的类别，并建立层级分类系统；包括步骤如下：

收集若干个候选的农业病虫害类别，并建立层级分类系统，所述层级分类系统包括四层分类级别，一级类别包括病害类、虫害类；二级类别包括蔬菜、果树、经济作物、粮食作物，分别在病害类和虫害类下设定二级类别；三级类别是指植物名称，分别在蔬菜、果树、经济作物、粮食作物下设定三级类别；四级类别是指具体侵害植物的疾病或者昆虫，分别植物名称下设定四级类别。

3.根据权利要求1所述的一种农业病虫害领域多模态数据集制作方法，其特征在于，根据农业病虫害类别，搜集农业病虫害类别对应的农业技方；所述农业技方包括病害类农业技方和虫害类农业技方，病害类农业技方包括症状、病原、传播途径和发病条件、防治方法四个字段，每个字段包含一段对应的文字描述；虫害类农业技方包括为害特点、形态特征、发生规律、防治方法四个字段，每个字段包含一段对应的文字描述。

4.根据权利要求1所述的一种农业病虫害领域多模态数据集制作方法，其特征在于，将搜集的农业病虫害类别对应的农业技方转换为结构化数据，是指：采用正则表达式匹配农业病虫害类别对应的农业技方中各字段名称，再根据字段名称将整个文本进行切割，得到以上述四类字段为键名、切割后的文本为键值的