SZSD03 0002—2024农业农村大数据 数据采集标准规范.docx

ICS35.240

CCSL70

SZSD

数字山东工程标准

SZSD030002—2024

农业农村大数据数据采集标准规范

Agricultureandruralbigdata—Dataacquisitionspecifications

2024-04-15发布2024-06-01实施

淄博市大数据局发布

SZSD030002—2024

I

目次

前言 II

1范围 3

2规范性引用文件 3

3术语和定义 3

3.1结构化数据 3

3.2半结构化数据 3

3.3非结构化数据 3

3.4关系型数据库 4

3.5数据源 4

3.6数据湖 4

3.7数据采集 4

3.8原始库 4

3.9标准库 4

3.10数据探查 4

4缩略语 4

5数据采集总体框架 5

5.1采集内容 5

5.1.1数据范围 5

5.1.2数据类型 5

5.2采集流程 5

6采集技术规范 6

6.1采集技术要求 6

6.2采集方式 7

6.2.1人工采集 7

6.2.2系统采集 7

6.3采集配置管理 7

6.4采集过程管理 7

7数据采集质量控制 8

7.1数据质量控制原则 8

7.2数据质量控制方式 8

7.3数据质量评价方法 8

8数据采集安全控制 8

参考文献 9

SZSD030002—2024

II

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由淄博市农业农村局提出，淄博市大数据局归口。

本文件起草单位：淄博市数字农业农村发展中心、中国农业科学院农业信息研究所。

本文件主要起草人：杜志钢、崔运鹏、刘海明、刘娟、徐学亮、陈丽、王坤、鲜建国、车呈瑾、张亚男、王晓瑞、王浩东、魏春英、王末、王婷、李欢。

SZSD030002—2024

3

农业农村大数据数据采集标准规范

1范围

本文件规定了淄博市农业农村数据采集的总体要求与管理要求，从采集内容、采集过程及技术进行规范。

本文件适用于淄博市农业农村智慧大脑及各农业农村下属单位开展数据采集工作。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T35295—2017信息技术大数据术语

GB/T36344—2018信息技术数据质量评价指标

GB/T36625.3—2021智慧城市数据融合第3部分：数据采集规范

3术语和定义

GB/T35295—2017界定的以及下列术语和定义适用于本文件，为了方便使用，以下重复列出了GB/T35295—2017中的某些术语和定义。

3.1

结构化数据structureddata

一种数据表示形式，按此种形式，由数据元素汇集而成的每个记录的结构都是一致的并且可以使用关系模型予以有效描述。

注：结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。

[来源：GB/T35295—2017，定义2.2.13]3.2

半结构化数据semi-structureddata

自描述的数据，是介于结构化和非结构化之间的数据。

注：半结构化数据具有一定的结构性，如：JSON文件，XML文件等。3.3

非结构化数据unstructureddata

不具有预定义模型或未以预定义方式组织的数据。

SZSD030002—2024

4

注：非结构化数据的数据结构不规则或不完整，不方便用数据库二维逻辑表来表现，包括所有格式的办公文档、文本、图片、各类报表、图像和音频/视频信息等。

[来源：GB/T35295—2017定义2.1.25]3.4

关系型数据库relationaldatabase

即关系型数据库管理系统，是利用数据概念实现对数据处理的算法，达到对数据及其快速的增、删、改、查操作。关系型数据库模型是把复杂的数据结构归结为简单的二元关系（即二维表格形式）。

3.5

数据源datasource