贵州省大数据清洗加工规范.PDF

  1. 1、本文档共27页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
贵州省大数据清洗加工规范 Big Data C leaning Specifications for Guizhou 贵 州 省 大 数 据 发 展 管 理 局 2017 年 6 月 目 次 前 言 1 1 范围 2 2 规范性引用文件 2 3 术语和定义 3 4 数据清洗流程与原则 5 4.1 政务数据来源 5 4.2 数据质量问题与数据清洗的关系 5 4.3 数据清洗流程 6 4.4 数据清洗加工原则 8 4.4.1 方法一致性 8 4.4.2 数据可信性 8 4.4.3 数据可用性 8 5 数据清洗流程控制 8 5.1 数据预处理 10 5.1.1 数据抽取 10 5.1.2 数据过滤 10 5.1.3 数据转换 10 5.1.4 数据加载 11 5.2 数据清洗 11 5.2.1 数据清洗规则 11 5.2.2 脏数据处理 12 5.3 非需求数据处理 17 6 数据清洗质量控制 18 6.1 数据清洗质量评估要求 18 6.2 数据清洗质量评估指标 18 7 数据清洗过程管理 19 I 7.1 数据清洗角色定义 19 7.2 提供者管理要求 20 7.3 管理者管理要求 20 7.4 数据审核管理要求 20 7.5 数据更新总体原则 21 7.6 数据矫正处理要求 21 7.7 数据清洗服务管理要求 21 附表 23 业务数据转换规则示例表 23 II 前 言 本规范按照 GB/T 1.1-2009 《标准化工作导则 第 1 部分:标准 的结构和编写》给出的规则起草。 本规范由贵州省大数据发展管理局出并归口。 本规范起草单位:贵州中软云上数据技术服务有限公司、云上贵 州大数据产业发展有限公司、

文档评论(0)

zhaojf9409 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档