原创力文档- 1、本文档共27页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
贵州大数据清洗加工规范-云上贵州
贵州省大数据清洗加工规范
Big Data C leaning Specifications for Guizhou
贵 州 省 大 数 据 发 展 管 理 局
2017 年 6 月
目 次
前 言 1
1 范围 2
2 规范性引用文件 2
3 术语和定义 3
4 数据清洗流程与原则 5
4.1 政务数据来源 5
4.2 数据质量问题与数据清洗的关系 5
4.3 数据清洗流程 6
4.4 数据清洗加工原则 8
4.4.1 方法一致性 8
4.4.2 数据可信性 8
4.4.3 数据可用性 8
5 数据清洗流程控制 8
5.1 数据预处理 10
5.1.1 数据抽取 10
5.1.2 数据过滤 10
5.1.3 数据转换 10
5.1.4 数据加载 11
5.2 数据清洗 11
5.2.1 数据清洗规则 11
5.2.2 脏数据处理 12
5.3 非需求数据处理 17
6 数据清洗质量控制 18
6.1 数据清洗质量评估要求 18
6.2 数据清洗质量评估指标 18
7 数据清洗过程管理 19
I
7.1 数据清洗角色定义 19
7.2 提供者管理要求 20
7.3 管理者管理要求 20
7.4 数据审核管理要求 20
7.5 数据更新总体原则 21
7.6 数据矫正处理要求 21
7.7 数据清洗服务管理要求 21
附表 23
业务数据转换规则示例表 23
II
前 言
本规范按照 GB/T 1.1-2009 《标准化工作导则 第 1 部分：标准
的结构和编写》给出的规则起草。
本规范由贵州省大数据发展管理局出并归口。
本规范起草单位：贵州中软云上数据技术服务有限公司、云上贵
州大数据产业发展有限公司、
文档评论（0）