- 1、本文档共27页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
贵州省大数据清洗加工规范
Big Data C leaning Specifications for Guizhou
贵 州 省 大 数 据 发 展 管 理 局
2017 年 6 月
目 次
前 言 1
1 范围 2
2 规范性引用文件 2
3 术语和定义 3
4 数据清洗流程与原则 5
4.1 政务数据来源 5
4.2 数据质量问题与数据清洗的关系 5
4.3 数据清洗流程 6
4.4 数据清洗加工原则 8
4.4.1 方法一致性 8
4.4.2 数据可信性 8
4.4.3 数据可用性 8
5 数据清洗流程控制 8
5.1 数据预处理 10
5.1.1 数据抽取 10
5.1.2 数据过滤 10
5.1.3 数据转换 10
5.1.4 数据加载 11
5.2 数据清洗 11
5.2.1 数据清洗规则 11
5.2.2 脏数据处理 12
5.3 非需求数据处理 17
6 数据清洗质量控制 18
6.1 数据清洗质量评估要求 18
6.2 数据清洗质量评估指标 18
7 数据清洗过程管理 19
I
7.1 数据清洗角色定义 19
7.2 提供者管理要求 20
7.3 管理者管理要求 20
7.4 数据审核管理要求 20
7.5 数据更新总体原则 21
7.6 数据矫正处理要求 21
7.7 数据清洗服务管理要求 21
附表 23
业务数据转换规则示例表 23
II
前 言
本规范按照 GB/T 1.1-2009 《标准化工作导则 第 1 部分:标准
的结构和编写》给出的规则起草。
本规范由贵州省大数据发展管理局出并归口。
本规范起草单位:贵州中软云上数据技术服务有限公司、云上贵
州大数据产业发展有限公司、
您可能关注的文档
- 质检员质量工艺员培训.ppt
- 质谱技术在医学检验中的应用-ThermoFisherScientific.PDF
- 质谱联用技术的妊娠期糖尿病.PDF
- 质量、环境、职业健康安全管理体系认证实施方案.PDF
- 质量与生产数据管理提高效率、生产力和控制水平.PDF
- 质量信用报告-lanson.doc
- 质量工程质量工程.PDF
- 质量强市!珠海明年底前将实现这些.PDF
- 质量授权人培训.ppt
- 质量改善管理系统-EasyTeam企业质量管理平台.PDF
- 地理-内蒙古锡林郭勒盟2023~2024学年第一学期高三年级全盟统考试题和答案.docx
- 历史|湖北元月调考暨湖北省部分市州元月高三期末联考历史试卷及答案.docx
- 历史-内蒙古锡林郭勒盟2023~2024学年第一学期高三年级全盟统考试题和答案.docx
- 数学(理科)-内蒙古锡林郭勒盟2023~2024学年第一学期高三年级全盟统考试题和答案.docx
- 历史丨金太阳24~239C湖北省十堰市2024届高三上学期1月调研考试历史试卷及答案.docx
- 青岛某高层办公楼地下防水施工方案(sbs卷材).docx
- 土木工程实习报告表格.doc
- 工程流体力学教学课件ppt作者闻建龙工程流体力学习题答案部分.doc
- 围手术期管理制度(1)_0.doc
- 2023年公务员多省联考《申论》题(内蒙古旗县卷)及参考答案.doc
文档评论(0)