《企业物流管理数据仓库建设指南》标准文本.pdfVIP

企业物流管理数据仓库建设指南

1范围

本标准规定了企业物流管理数据仓库（下文简称数据仓库）设计的总体要求、层次结构、

数据构成、数据接口、数据模型与存储体系、数据安全、数据备份等内容，适用于企业物流

管理数据仓库的规划、设计、开发和应用，支持物流行业与其他信息系统的互联互通。

2规范性引用文件

下列文件对于本文件的应用是必不可少的，凡是注日期的引用文件，仅注日期的版本适

用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T18768-2002数码仓库应用系统规范

GB/T33745-2017物联网术语

3术语和定义

下列术语和定义适用于本标准。

3.1

数据仓库datawarehouse（DW）

支持管理决策过程的、面向主题的、集成的、随时间而变的、持久的数据集合。

3.2

结构化数据structuraldata

能够组织成行列结构，可识别的数据。通常是一条记录，或者是被正确标记过的数据中

的某一个字段，并且能够被精确地定位到。

3.3

非结构化数据unstructureddata

不具备统一的结构，不方便用二位逻辑表来表现的数据，包括文本、图像、声音、网页

等。

3.4

元数据metadata

描述数据的数据（dataaboutdata），主要是描述数据属性（property）的信息，用来支

1

持如指示存储位置、历史数据、资源查找、文件记录等功能。

3.5

数据库database

长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

4总体要求

4.1概念

数据仓库不同于联机处理系统中的数据库的概念，它可以支持决策，并且面向分析型数

据的处理。数据仓库是一个将不同数据源的数据进行集成，并按照不同的主题进行组织，存

储大量历史数据的系统。数据仓库中的数据可用来进行支持决策的统计和分析，按照一定的

模式存储不同时期的有意义的数据，使得业务人员可在数据仓库环境下以不同方式在数据上

执行查询操作，随时间变化的趋势分析，比较分析，关联数据的分析挖掘和预测分析。

4.2建设原则

数据仓库建设可遵照以下原则与要求：

a）开放性原则

建设数据仓库应基于业界开放标准，支持主流数据规范，使其符合标准又灵活开放。

b）数据完整性原则

以积极的姿态来保护引用完整性和减少冗余实体或不一致的可能。

c）可扩展性原则

数据仓库要支持体系结构的扩展，允许数据量的增加或已有信息的额外数据源。

d）灵活性原则

建设的数据仓库能适应多样化的源数据，并向目标系统提供多样化的数据支持。

e）安全性原则

数据仓库建设过程中的每一环节都必须保证数据的安全性。

f）兼容性原则

建设的数据仓库能够有效兼容原系统、有效处理原系统中积累的信息资源与相关数据。

5数据仓库分层

2

5.1分层结构

数据仓库可分为数据运营层（ODS）、数据公共层（CDM）和数据应用层（ADS）三

层。

图1数据仓库分层结构

5.2数据运营层：ODS（OperationalDataStore）

ODS层是最接近数据源的一层，存储数据源中经过ETL（抽取、洗净、传输）的数据，

数据大多按源头业务系统分类。ODS层数据量庞大，在技术选型上可选择存在HDFS上。

从DS层流向ODS层的数据来源包括但不限于以下几种：

a）业务库：业务系统中的数据，可使用Sqoop抽取，如每日定时抽取一次。在实时方面，

可用Canal或Maxwell进行实时接入。

b）埋点日志：线上系统打入，可以文件的形式保存，通过Flume定时抽取，也可用Spark

Streaming或Storm来实时接入，Flume+Kafka也是常用组合之一。

5.3数据公共层