贵州省数据清洗加工规范.docxVIP

PAGE 18 ICS DB52 贵 州 省 地 方 标 准 DB 52/T XXX—XXXX 贵州省数据清洗加工规范 Big Data Cleaning Specifications for Guizhou 2018 - XX - XX 发布 2018 - XX - XX 实施 贵州省市场监督管理局 发 目 次 TOC \o 1-3 \h \z \u 前言 1 1 范围 2 2 术语和定义、缩略语 2 2.1 术语和定义 2 2.2 缩略语 3 3 总则 3 3.1 数据的范围 3 3.2 数据清洗加工原则 3 3.3 数据清洗加工与数据质量的关系 3 4 数据清洗加工流程 4 4.1 数据加工全流程 4 4.2 数据预处理 5 4.3 数据清洗加工 6 5 数据清洗加工过程管理 10 5.1 数据清洗角色定义 10 5.2 数据提供者 10 5.3 数据管理者 10 5.4 数据审核者 10 6 数据清洗加工质量管理 10 6.1 质量控制 10 6.2 质量要素 11 附录A 12 （资料性附录） 12 PAGE 13 PAGE 1 前言 本标准按照GB/T 1.1-2009《标准化工作导则 第1部分：标准的结构和编写》给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由贵州省大数据发展管理局提出。 本标准由贵州省大数据标准化技术委员会归口。 本标准起草单位：贵州中软云上数据技术服务有限公司、云上贵州大数据产业发展有限公司。 本标准主要起草人：秦晓东、杨建国、王仕品、XXX、XXX。 PAGE 11 PAGE 1 范围 本标准规定了大数据清洗加工的流程、过程管理和质量管理。 本标准适用于贵州全省范围内政务大数据应用主管单位、设计单位、建设单位、实施单位及评估单位等，用于指导政府数据的清洗加工工作。 本标准针对实例层数据质量问题提供清洗加工指导。 术语和定义、缩略语 术语和定义 下列术语和定义适用于本文件。 政务大数据 政务大数据 Government big data 政府中无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能获得更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的政府信息资产。 脏数据 脏数据 Dirty data 系统中的数据不在给定的范围内或对于实际业务毫无意义，或是数据格式非法，以及在系统中存在不规范的编码和含糊的业务逻辑的数据。 数据清洗 数据清洗 Data cleaning 发现并纠正数据资源中可识别的错误的最后一道程序。利用现有的数据挖掘手段和方法清洗“脏数据”，将“脏数据”转化为满足数据质量要求或应用要求的数据的过程称为数据清洗。 结构化数据 结构化数据 Structural data 能够用统一的结构加以表示的数据，如数字、符号等可以存储在数据库里,可以用二维表结构来逻辑表达实现的数据。 非结构化数据 非结构化数据 Unstructured data 无法用统一的结构表示的数据，如文本、图像、声音、视频、网页等不使用数据库二维逻辑表来表现的数据。 噪声数据 噪声数据 Noisy data 无意义的数据。 缩略语 ETL ETL Extract-Transform-Load 将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。 总则 数据的范围 本标准中的数据指的是政务数据资源，即政府部门在依法履行职能过程中生成、采集的，以一定形式记录、保存的各类数据资源，包括政府部门直接或通过第三方依法采集的、依法授权管理的和因履行职责需要依托政务信息系统形成的数据资源等。 本标准就实例层数据提供清洗加工指导。 数据清洗加工原则 科学性原则 数据清洗加工工作应采用科学合理的规范标准，要满足现阶段科学数据资源的使用需求，也要考虑将来一定时间内由于科技快速发展等原因可能产生的数据资源应用需求，保证清洗加工后的数据资源更有生命力。 可操作性原则 数据清洗加工工作应考虑数据资源单位的数据资源特点以及工作的复杂程度，应切实以用户需求为导向，以应用为目标，制定可操作性的流程规范进行清洗加工。 一致性原则 数据清洗加工工作应统一决策，同一数据库范围内工作方法统一，技术指标统一，从而达成数据产品的一致性。 数据清洗加工流程 数据加工全流程 数据清洗加工