大数据导论整理版——OLTP与OLAP、数据库与数据仓库 .pdfVIP

⼤数据导论（4）——OLTP与OLAP、数据库与数据仓库

公司内部的数据⾃下⽽上流动，同时完成数据到信息、知识、洞察的转化过程。

⽽企业内部数据，从⽇常OLTP流程中产⽣，实时存储进不同的数据库中。同时定期被提取、经格式转化、清洗和加载（ETL），以统⼀的格式存储

进数据仓库，以供决策者进⾏OLAP处理，并将处理结果可视化。

OLTPOLAP

企业的数据处理可以分成两⼤类：联机事务处理OLTP、联机分析处理OLAP。

OLTP（On-LineTransactionProcessing，联机事务处理）——数据库的增删查改。是⾯向事务“”类型的操作。有⼏个显著的特点：要求速度快/操作

涉及的数据量不⼤/要求精准操作。事物型数据⼤多都具有⾼度规范化。因此OLTP系统是结构化数据的主要数据源。

OLAP（On-LineAnalyticalProcessing，联机分析处理）——⽀持复杂的分析、查询操作，侧重决策⽀持，并且提供直观易懂的查询结果。解决了涉

及多维度数据的问题（传统数据库⽆法满⾜OLAP所需要的数据信息）。

数据库数据仓库

数据库的主要应⽤场景为联机事务处理（OLTP），数据仓库的主要应⽤场景为联机分析处理（OLAP）。

数据库（Database）——⽤于存储电⼦⽂件，⽤户可以对⽂件中的数据运⾏新增、截取、更新、删除等操作。为对数据库进⾏管理，开发设计出数据

库管理系统（DatabaseManagementSystem）。

数据仓库（DataWarehouse）——⽤于存储数据的中央、企业级系统，存储的数据多为历史数据。

特点：数据仓库中的数据围绕企业主题（Subject-Oriented）、经过集成（Integrated）、定期更新（Time-Variant）、具有⾮易失性（Non-

Volatile，不可修改，多以只读格式返回给⽤户）；

结构：暂存层、集成层、访问层

与OLAP的关系：数据仓库为OLAP解决了数据来源问题，并与OLAP互相促进发展，进⼀步驱动了商务智能的成熟。

【补充】设计数据仓库的初衷：

是为以关系型数据库为基础的运营式系统，向决策⽀持系统过渡提供⼀种⼯具/整个企业范围内的数据集成环境，并尝试解决数据流相关的各种问题

（包括：如何从多个不同数据库中调取所需数据、数据共享、数据库之间的集成）。这个决策⽀持系统，即商务智能（BusinessIntelligence）。

数据仓库不是可以买到的产品，⽽是⼀种⾯向分析的数据存储⽅案。

对于数据仓库的概念可以从两个层次理解：⾸先，数据仓库⽤于⽀持决策，⾯向分析型数据处理，不同于提⾼业务效率的操作型数据库；其次，数据

仓库对分布在企业中的多个异构数据源集成，按照决策主题选择数据并以新的数据模型存储。

数据集市

为⽅便不同业务部门更⾼效的获取数据，可经数据仓库针对不同业务数据⽣成⼦集，形成数据集市。

数据集市⾯向部门、业务单元或特定应⽤，因⽽规模较⼩，便于快速实现，且成本较低，短期内即可获得明显效果。

数据集市的应⽤不仅满⾜了部门的数据处理需求，⽽且作为数据仓库的⼦集，有助于构建完整的企业级数据仓库。

【补充】来源：

⼈们在早期开发企业级数据仓库时，⼀般是先建⽴⼀个全局的数据仓库，然后在此基础上建⽴各种应⽤，即⾃“顶向下”的⽅法。但在开发的过程中会

出现以下问题。

(1)如果按⾃“顶向下”的⽅法建⽴企业级数据仓库，建设规模较⼤，建设周期长，投资⼤。

(2)在数据仓库建好后，随着使⽤数据仓库的部门增多，对数据仓库资源的竞争将成为企业⾯临的⼀个难题。

(3)各个部门希望能定制数据仓库中的数据，但数据仓库是⾯向企业的。

为解决上述问题，⼈们提出了数据集市的概念。

数据集市可以在数据仓库的基础上进⾏设计，也可像数据仓库⼀样直接设计。数据集市中的数据具有数据仓库中数据的特点。

ETL

数据仓库并不只是数据的简单累积，⽽是经过⼀系列的抽取、转换和装载的过程，简称ETL。ETL的主要功能：

1．数据抽取

数据仓库是⾯向主题的，并⾮源数据库的所有数据都是有⽤的。因此在把源数据库中的相关数据导⼊数据仓库之前，需要先确定该数据库中哪些数据

是与决策相关的，数据抽取的流程如下：

（1）确认数据源的数据、含义；

（2）抽取：确定访问源数据库中⽂件或表，以及其中的字段；

（3）确定抽取频率，以定期更新数据仓库；

（4）确定数据输出的格式、存储位置。

（5）当部分数据⽆法抽取时，进⾏异常处理。

2．数据转换

将来⾃不同源数据库中的数据进⾏格式转换，转换内容主要