数据仓库技术分享PPT课件.pptx

技术分享数据仓库————数据仓库技术分享PPT课件1

01初识数仓数据仓库技术分享PPT课件2

PART/01什么是数据仓库数据库--OLTP：（on-linetransactionprocessing）翻译为联机事务处理 记录某类业务事件的发生，如购买行为，银行交易行为，当行为产生后，系统会记录是谁在何时何地做了何事，这样的一行（或多行）数据会以增删改的方式在数据库中进行数据的更新处理操作，要求实时性高、稳定性强、确保数据及时更新成功，像公司常见的业务系统如ERP，CRM，OA等系统都属于OLTP数据仓库--OLAP：（On-LineAnalyticalProcessing）翻译为联机分析处理 当数据积累到一定的程度，我们需要对过去发生的事情做一个总结分析时，就需要把过去一段时间内产生的数据拿出来进行统计分析，从中获取我们想要的信息，为公司做决策提供支持，这时候就是在做OLAP了 OLAP支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果数据仓库技术分享PPT课件3

PART/01什么是数据仓库数据仓库技术分享PPT课件4

PART/01什么是数据仓库数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策(DecisionMakingSupport)。 比尔·恩门（BillInmon）《BuildingtheDataWarehouse》数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、提高产品质量等。数仓并不是数据的最终目的地，而是为主句最终的目的地做好准备。包括：清洗，转义，分类，充足，合并，拆分，统计等。数据仓库技术分享PPT课件5

PART/01什么是数据仓库1、面向主题。操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域——用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关2、集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。数据仓库技术分享PPT课件6

PART/01什么是数据仓库3、相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供查询，数据进入数据仓库以后，一般将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。4、反映历史变化。操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。数据仓库技术分享PPT课件7

02数据仓库架构数据仓库技术分享PPT课件8

PART/02数仓架构数据源经典数仓ETL其实数据仓库很早之前就有了很多传统的数仓技术，例如基于Teradata的数据仓库，只不过在大数据背景下我们开始抛弃传统构建数仓的技术，转而选择了更能满足当前时代需求的大数据技术，当然大数据技术并没有完整的、彻底的取代传统的技术实现，我们依然可以在很多地方看见它们的身影存储分析、及展示数据仓库技术分享PPT课件9

PART/02数仓架构经典数仓问题随着数据量暴增、数据源多样化、服务对象变化，传统经典数仓的不足凸显：传统数据分析更注重对高密度、高价值的结构化数据的业务数据分析，对非结构化、半结构化数据的处理，如图像、文本、音频的存储和分析非常薄弱。由于传统数据仓库采用结构化存储，当数据从其他系统导入数据仓库时，我们通常会引入ETL过程。ETL与具体的业务有很强的的绑定性，通常需要一个专门的人或者团队与业务部门进行连接，并决定如何进行数据清洗、转换及加载。随着异构数据源的增加，如视频、文本、图片，要分析数据内容并进入数据仓库，就需要非常复杂的ETL，导致ETL过于庞大且臃肿数据库范式等约束规则重点解决数据冗余问题，以确保数据的一致性。原则上，数据仓库原始数据是只读的，所以这些约束条件将成为影响性能的因素。数据量过大时性能称为瓶颈。数据仓库技术分享PPT课件10

PART/02数仓架构离