13数据处理流程规范.docxVIP

数据处理流程规范 目 次 目 次 .............................................................................. I 1 范围 .............................................................................. 1 2 规范性引用文件 .................................................................... 1 3 术语、定义和缩略语 ................................................................ 1 3.1 术语和定义 ..................................................................... 1 3.2 缩略语 ......................................................................... 1 4 数据来源与处理流程 ................................................................ 1 4.1 数据来源 ....................................................................... 1 4.2 数据处理原则 ................................................................... 2 4.3 数据处理流程 ................................................................... 2 4.4 数据获取与保存 ................................................................. 3 4.5 数据预处理 ..................................................................... 3 4.6 数据清洗 ....................................................................... 4 4.7 数据核检 ....................................................................... 4 4.8 数据更新 ....................................................................... 4 I 数据处理流程规范 范围 本部分按照 GB/T 1.1-2009 给出的规则起草 , 提出了政务信息资源中的数据处理流程， 包括数据预处 理和数据清理过程。 规范性引用文件 下列文件对于本文件的应用是必不可少的。 凡是注日期的引用文件， 仅注日期的版本适用于本文件。 凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T21063.1 政务信息资源目录体系 第 1部分：总体框架 GB/T 35274-2017 信息安全技术 大数据服务安全能力要求 术语、定义和缩略语 3.1 术语和定义 下列术语和定义适用于本文件。 3.1.1 数据安全 data security 一是数据本身的安全， 主要是指采用现代密码算法对数据进行主动保护， 如数据保密、 数据完 整性、双向强身份认证等， 二是数据防护的安全， 主要是采用现代信息存储手段对数据进行主动防护，如通过磁盘阵列、数据备份、异地容灾等手段保证数据的安全。 3.1.2 数据预处理 data preprocessing 数据预处理是指数据在处理、加工之前对数据进行的一系列操作。 3.1.3 脏数据 dirty data 脏数据是指系统中的数据不在给定的范围内或对于实际业务毫无意义， 或是数据格式非法， 以 及在系统中存在不规范的编码和含糊的业务逻辑。 3.1.4 数据清洗 data cleaning 数据清洗是指利用现有的数据挖掘手段和方法清洗脏数据， 将脏数据转化为满足数据质量要求或应用要求的数据的过程。 3.2 缩略语 下列缩略语适用于本文件。 ETL：数据仓库技术 (Extract Transform Load) 数据来源与处理流程 4.1 数据来源 1 政务信息资源中