（54页PPT）数据湖仓基础知识.pptxVIP

数据湖仓基础知识

;

数据仓库

数据湖

数据湖仓;

PART数据仓库;

上世纪70年代，关系数据库(传统数据库的主要类型)刚刚崛起时，美国康奈比尔·恩门(BillInnmon,也有译为比尔·因蒙)就开始定义和讨论数据仓库这一术语。

1988年，IBM研究人员巴里·德夫林(BarryDevlin)和鲍尔·(PaulMurphy),联

合发表了文章《商业和信息系统的架构》,其中引入了“商业数据仓库”一词。他们还开发了一种叫做“业务数据仓库”的系统。

几年后，1990年，美国科学家拉尔夫·金博尔(RalphKimball)创立了RedBrickSystems公司，推出专门用于数据仓库的数据库管理系统RedBrickWarehouse。

1991年，比尔·恩门创立了PrismSolutions公司，推出用于开发数据仓库的软件Prism

WarehouseManager。

同年，比尔·恩门正式出版了数据仓库的经典著作——《构建数据库仓库》,标志着数据仓库概念的正式确立。他也被誉为“数据仓库之父”。;

□数据仓库的定义

数据仓库，英文全称DataWarehouse,简称DW或DWH。

比尔·恩门在《构建数据库仓库》书中给出的数据仓库的定义——

·数据仓库，是一个面向主题的(SubjectOriented)、集成的(Integrated)、相对稳定的(Non-

Volatile)、反映历史变化(TimeVariant)的数据集合，用于支持管理决策(DecisionMakingSupport)。;

□数据仓库的特征

支持管理决策

·描述：简单来说，传统数据库主要是员工使用，支撑某项具体的工作(例如收银系统等)。而数据仓库主要是管理层使用，用于掌握宏观情况，以便做出更合理的决策。

·总结：数据仓库是一个战略级的工具。它通常用于商业智能(BusinessIntelligence,简称BI)和决策支持，可以帮助企业从大量数据中获得有价值的信息，增加洞察能力。

·目的：增加收入、提升效率、降低成本。;

□数据仓库的特征

面向主题

·描述：传统数据库，围绕具体的工作(应用)来组织数据，用于一个明确的事务。例如进销存数据库、考勤数据库、财务数据库等。而数据仓库，是按照主题来组织数据的。所谓主题，是一个特定的业务领域，或者一个明确的分析目标，例如销售分析主题、员工敬业度主题??学生在校表现主题等等。主题的范围更大，level(层级)更高。

·总结：数据仓库的数据，是多个传统数据库的集合和“拉通”。它把不同数据库表单的信息挑选整合在一起，提供了一个更全面的数据呈现。

·目的：适合支持管理者做决策和分析。;

□数据仓库的特征

集成

·描述：数据仓库可以整合来自多个不同数据源(企业数据库、供应商数据库、渠道商数据库等)的数据。

·总结：数据仓库可以包括结构化数据、半结构化数据和非结构化数据等，但主要还是以结构化数据为主。

·目的：提供一个更全面的视角，以便服务于分析和决策。;

□数据仓库的特征

相对稳定

·描述：数据一旦被加载到数据仓库中，通常不会更新或修改，确保了数据的稳定性和用于长期分析的可靠性。

·总结：数据仓库所涉及的操作，主要是数据查询，而不是修改。;

□数据仓库的特征

反映历史变化

·描述：传统数据库，一般都是数据更新。写入新数据，替换旧数据。数据仓库不一样，它保存了大量的历;

■数据仓库

□数据仓库的参考架构

原始数据层(ODS,OperationDataStore):

也叫数据引入层、操作数据层、数据准备层或贴源层，用于采

集和存储原始数据。

数据公共层(CDMmonDataModel):

又分为基础层/明细层(DWD,DWDetail)、汇总层/服务层

(DWS,DWService)、公共维度层(DIM)。DWD对源数

据进行清洗以便将其加载到数据仓库中。DWS将经过清洗和转

换后的数据并轻度汇总。DIW用于保存维度信息，用于建模。

数据应用层(ADS,ApplicationDataService):

主要功能是保存结果数据，为外部系统提供查询接口，用于满

足特定的商业智能、数据挖掘和报表应用。;

从不同的数据源系统中抽取数据。定期进行的(例如每天或每周)。

提高数据质量和一致性。清洗包括修正错误、去除重复项、处理缺失值等。

转换则是将数据转化为统一的格式，以便在数据仓库中进行有效