CN112231535B 一种农业病虫害领域多模态数据集制作方法、处理装置和存储介质 （山东科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN112231535B(45)授权公告日2022.11.15

(21)申请号202011147063.1

(22)申请日2020.10.23

(65)同一申请的已公布的文献号申请公布号CN112231535A

(43)申请公布日2021.01.15

(73)专利权人山东科技大学

地址266590山东省青岛市经济技术开发

区前湾港路579号

(72)发明人曾庆田王善松倪维健段华

鲁法明宋戈林泽东赵华

(74)专利代理机构济南金迪知识产权代理有限公司37219

专利代理师许德山

(51)Int.CI.

GO6F16/951(2019.01)

GO6F16/9535(2019.01)

GO6F40/289(2020.01)

GO6N20/00(2019.01)

(56)对比文件

CN110414561A,2019.11.05CN110033015A,2019.07.19CN108334591A,2018.07.27CN110457982A,2019.11.15CN108647691A,2018.10.12CN111046668A,2020.04.21CN110321956A,2019.10.11CN110148043A,2019.08.20CN108256104A,2018.07.06CN110569379A,2019.12.13CN111259141A,2020.06.09

审查员刘彩凤

权利要求书3页说明书9页附图5页

(54)发明名称

一种农业病虫害领域多模态数据集制作方法、处理装置和存储介质

(57)摘要

CN112231535B本发明涉及一种农业病虫害领域多模态数据集制作方法、处理装置和存储介质，包括步骤如下：首先，收集农业病虫害的类别，并建立层级分类系统；其次，搜集农业病虫害类别对应的农业技方以及农业病虫害类别对应的图片；最后，转换为结构化数据，并依次进行内容过滤、分词，获取农业病虫害领域文本模态数据集；对搜集的农业病虫害类别对应的图片中的无用图片做初步过滤，进行数据增强处理，得到农业病虫害领域图像模态数据集。本发明通用而高效，解决了数据来源和制作的难题，改善了以往数据集制作方法中摄像设备单一、采集地点有限、效率低、成

CN112231535B

层级分类系统建立模块

层级分类系统建立模块

农业技方搜集模块

图片搜集模块

结构化处理模块

初步过滤模块

内容过滤模块

分词模块

文本模态数据集单元

图像模态数据集单元

数据增强模块

CN112231535B权利要求书1/3页

2

1.一种农业病虫害领域多模态数据集制作方法，其特征在于，包括步骤如下：

首先，收集农业病虫害的类别，并建立层级分类系统；

其次，根据农业病虫害类别，搜集农业病虫害类别对应的农业技方，以及农业病虫害类别对应的图片；

最后，将搜集的农业病虫害类别对应的农业技方转换为结构化数据，并依次进行内容过滤、分词，获取农业病虫害领域文本模态数据集；

对搜集的农业病虫害类别对应的图片中的无用图片做初步过滤，并输入专门编写的可显示图片内容、图片标题、病害或虫害的名称的软件，人工进行进一步过滤，滤除非专业人士可辨认的无用图片，所述非专业人士可辨认的无用图片为图片标题和实际显示图片不符的图片；再进行数据增强处理，得到农业病虫害领域图像模态数据集；最终，获取了农业病虫害领域多模态数据集，农业病虫害领域多模态数据集包括农业病虫害领域文本模态数据集、农业病虫害领域图像模态数据集；

根据农业病虫害类别，采用Python-selenium爬虫模拟浏览器行为自动收集农业病虫害类别对应的图片，包括步骤如下：

(1)准备chromedriver.exe浏览器驱动程序；

(2)使用Python-selenium爬虫打开浏览器，访问或者或者;

(3)定位网页搜索框，键入所要查询的病害或虫害的中文名称；

(4)Python-selenium爬虫模拟点击每一张图片，弹出右侧详情页面；

(5)采用Python-selenium爬虫的