99-山西省大数据开发指南0613V2.0.docx

山西省大数据开发指南

山西省大数据开发指南

（试行）

目录

TOC\o1-3\h\z\u1前言 1

2范围 2

3规范引用文件 3

4术语和定义 4

4.1大数据 4

4.2大数据平台 4

4.3大数据开发技术 4

4.4批处理 4

4.5即席查询 4

5综述 5

6大数据开发流程 6

6.1数据采集 6

6.2数据治理 7

6.2.1数据清洗 7

6.2.2数据比对 8

6.2.3数据标准化 8

6.3数据存储和批处理 9

6.4大数据OLAP分析 11

6.5数据展现 11

7大数据开发设计方法 12

7.1确定业务场景 12

7.2梳理数据源，确定数据范围 12

7.3设计模型算法 12

7.4定义大数据分析服务 12

8大数据开发主要技术要求 13

8.1数据集成工具 13

8.2SQL 13

8.3批处理编程 14

8.4机器学习 14

PAGE14

前言

本标准由XXX提出。

本标准由XXX归口。

本标准起草单位：山西省经济和信息化委员会。

范围

本标准主要用于指导基于大数据平台的开发工作，适用于大数据平台使用方、运维方等。

规范引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

术语和定义

下列术语和定义适用于本文件。

大数据

具有数量巨大、种类多样、流动速度快、特征多变等特性，并且难以用传统数据体系结构和数据处理技术进行有效组织、存储、计算、分析和管理的数据集。

大数据平台

采用分布式存储和计算技术，提供大数据的访问和处理，支持大数据应用安全高效运行的软硬件集合，包括监视大数据的存储、输入/输出、操作控制等大数据服务软硬件基础设施。

大数据开发技术

大数据开发技术，即利用大数据平台的能力构建大数据应用的相关技术。

批处理

大数据的批处理是指针对于大量的已经存在一定时间的既有数据进行的处理。批处理的数据特点往往是量比较大，有明确的边界而非连续不断的数据。批处理更关心吞吐量，对处理时效不敏感，往往是运行若干分钟甚至是小时之后处理结束，得到最终结果。

即席查询

即席查询是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。

综述

大数据平台是一种支持大数据应用开发和运行的一站式的数据基础设施，能够提供数据集成/数据存储/数据计算/数据管理和数据分析等功能，具备随着数据规模扩大而进行横向扩展的能力。

大数据平台和上层应用以及下层硬件环境的关系如下图所示：

图STYLEREF1\s5SEQ图表\*ARABIC\s11物理资源、大数据平台及大数据应用相互关系逻辑示意图

大数据开发技术，即利用大数据平台的能力构建大数据应用的相关技术。

大数据开发流程

大数据开发流程按照任务类型划分，分为数据采集、数据治理、数据存储/计算、数据OLAP分析以及数据展现。

数据采集

数据采集是数据导入大数据平台的过程。

包括以下几种方式：

（1）直接写入大数据NoSQL系统比如HBase；

（2）写入消息系统比如Kafka，经过后续其他系统处理后写入大数据存储系统；

（3）通过ETL工具进行Extract和Load过程，把数据从源端（比如是既有业务数据库）导入到目的端（HDFS，Hive等）。或者通过相关组件的编程接口编程完成此过程；

（4）写入本地文件，或保存到文件服务器上，后续通过批量加载文件的方式加载到相关的大数据存储系统。

数据采集过程，在大数据开发过程中是最容易被忽视的环节，但是这部分的工作非常重要，而且难度很大，往往需要占据整个项目80%以上的工作量。主要问题有：

（1）异构数据系统太多，对接工作量极大；

（2）大部分生产系统的数据质量不高，采集的数据往往存在问题而不能及时发现，到下游生产环节会带来大量错误或者计算资源浪费，严重影响项目进度；

（3）大数据系统对数据的格式/频次都有不同要求；

（4）采集的数据源众多，表数量众多，采集任务也各有不同，实施过程对人力消耗非常严重。

数据治理

数据清洗

数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。

数据清洗的任务是过滤不符合要求的数据，不符合要求的数据主要包含不完整的数据、错误的数据、重复的数据三大类。

数据清洗从数