DB34T 4853.3-2024农村供水管理系统 第3部分：数据加工.docx

ICS35.020CCSL70

34

安徽省地方标准

DB34/T4853.3—2024

农村供水管理系统数据加工

Dataprocessingofruralwatersupplymanagementsystem

2024-07-30发布2024-08-30实施

安徽省市场监督管理局发布

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

本文件是DB34/T4853《农村供水管理系统》的第3部分。DB34/T4853已经发布了以下部分：——第1部分：数据元；

——第2部分：数据采集；——第3部分：数据加工；——第4部分：数据存储；——第5部分：应用服务；——第6部分：运行维护。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由安徽省水利厅提出并归口。

本文件起草单位：安徽省（水利部淮河水利委员会）水利科学研究院（安徽省水利工程质量检测中心站）、中水三立数据技术股份有限公司、安徽省农村饮水安全技术中心、安徽农业大学、安徽金海迪尔信息技术有限责任公司、安徽省大禹水利工程科技有限公司。

本文件主要起草人：沈超、王跃国、刘怀利、廖丽霞、张成、杜运成、姚建国、李羊第、李家耀、张啸天、郑锐、周婷、刘星宇、姚礼帮、孙靖堂、赵辉、邱丽媛、顾庆玮、李伟、吴霜、张国繁、葛梦瑶。

农村供水管理系统数据加工

1范围

本文件规定了农村供水管理系统数据的分类、抽取、清洗、标准化转换、入库以及数据安全与记录。本文件适用于农村供水管理系统的数据加工。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T20271信息安全技术信息系统通用安全技术要求

3术语和定义

下列术语和定义适用于本文件。3.1

前置数据库predatabase

采用主从复制技术实现的原始数据库的镜像数据库，可用于向外界提供相关数据并确保原始数据库数据安全。

4流程

数据加工流程见图1。

数据分析

数据抽取

数据清洗

错误数据修正不可修正的异常数据处置结果检验不通过r

错误数据修正

不可修正的

异常数据处置

通过

可修正的

可修正的

标准化转换

数据入库

图1数据加工流程

5数据分类

5.1待加工数据根据农村供水管理业务应用划分为基础数据、监测数据、业务数据、地理空间数据、外部共享数据五类。

5.2应根据数据分类明确对应的数据加工路径、加工规则、加工目标数据库及相应库表信息。

5.3采用系统或人工方式将不满足农村供水管理系统业务需求、不符合数据格式要求、元数据或相关资料描述不完整的、数据关系不明确的数据筛除。

6数据抽取

6.1应通过数据来源的前置库进行抽取。

6.2每次数据抽取工作应至少记录抽取标志位、抽取时间、抽取来源、抽取数量、目标库表、抽取完成情况、操作人员；抽取操作中断时可通过抽取标志位、抽取时间确定抽取的数据。

6.3数据传输应通过https、TLSP等协议进行安全加密传输。

6.4首次抽取应采用全量抽取方式，非首次抽取宜采用增量抽取方式。

6.5结构化数据宜采用直接读库方式抽取，半结构化和非结构化数据宜通过数据服务方式抽取。

7数据清洗

7.1清洗原则

7.1.1准确性、完整性：应通过极大值、极小值、负值、空缺值、数据类型错误进行判定。

7.1.2符合性：结合农村供水管理业务应用规则和逻辑对数据准确性进行判定。

7.1.3唯一性：通过主键或标志位检验等策略制定数据唯一性检验和去重规则。

7.2清洗操作方法

7.2.1根据业务需求将非结构化和半结构化数据（并非全部）转化为结构化数据。

7.2.2删除或修改不一致的数据。

7.2.3利用相关性分析方法消除冗余数据。

7.2.4删除噪声数据。

7.2.5删除业务数据中不符合应用规则或有逻辑错误的数据。

7.2.6处理空缺值。

7.2.7将过滤删除掉的数据存入问题数据库表。

7.3结果检验

7.3.1对清洗后数据对象的数据类型、数值、长度、格式以及数据内容的表述进行准确性检验。

7.3.2应对每个数据字段内容的完整性进行检验。

7.3.3应对清洗前后的数据