第三章数据仓库的数据存储与处理.pptxVIP

第三章 数据仓库的数据存储与处理 ;;数据仓库的管理器;加载管理器;加载管理器;加载管理器;加载管理器的具体功能;仓库管理器;仓库管理器;仓库管理器的具体功能;查询管理器;查询管理器;查询管理器的具体功能;3.2 数据粒度;3.2 数据粒度; 左图是一个低粒度级，每个活动(在这里是一次电话)被详细记录下来，数据的格式如图所示。到月底每个顾客平均有200条记录(全月中每个电话都记录一次)，因而总共需要40000个字节； 右图的边是一个高粒度级。数据代表一位顾客一个月的综合信息，每位顾客一个月只有一个记录，这样的记录大约只需200个字节。 ;问题：“上星期某某顾客是否给某某人打了电话?” 在低粒度级别上，完全可以回答这一问题，虽然这种回答将花费大量资源去查询大量的记录，但是问题结果是可以确定的。 在高粒度级别上，则无法明确地回答这个问题。假如在数据仓库中存放的只是所打电话的总数，那么就无法确定其中是否有一个电话是打给某人的。 ;3.3 数据模型;概念模型 客观世界到计算机系统的一个中间层次，它最常用的表示方法是E－R法（实体－关系）。 目前，数据仓库一般是建立在关系型数据库的基础之上，所以其概念模型与一般关系型数据库采用的概念模型相一致。 ;逻辑模型 指数据的逻辑结构，如多维模型、关系模型、层次模型等。数据仓库的逻辑模型描述了数据仓库的主题的逻辑实现，即每个主题对应的模式定义。 ;物理模型 是逻辑模型的具体实现，如物理存取方式、数据存储结构、数据存放位置以及存储分配等。在设计数据仓库的物理模型时，需要考虑一些提高性能的技术，如表分区，建立索引等。 ; 目前，对数据仓库模型的讨论大多集中在逻辑模型，其中最常用的是多维模型。 维 人们观察数据的特定角度。例如，企业常常关心不同销售数据随时间的变化情况，所以时间就是一个维； 维的层次 人们观察数据的某个特定角度还可以存在细节程度不同的多个描述，这就是维的层次。一个维往往有多个层次，比如描述时间维时，可以从年份、季度、月份??天等不同层次来描述，那么年份、季度、月份和天就是时间维的层次； ;维成员 维的一个取值称为该维的一个成员。如果一个维是多层次的，那么该维的成员就是在不同层次取值的组合。例如时间维分为年、月和天三个层次则分别在其上各取一个值组合起来即得到日期维的一个成员，即“某年某月某日”； 度量 描述了要分析的数值，例如话费、用户数量等； ;数据仓库的数据模型 星型结构 雪花型结构 星型雪花型结构 数据仓库的数据＝事实数据＋维度数据 不论是星型、雪花型或者是星型雪花型结构都是以事实表为中心。不同点只是在外围维度表相互之间的关系不同而已。 ;星型架构的维度表只会与事实表生成关系，维度表与维度表之间并不会生成任何的关系。 雪花型架构描述可合并在一起使用的维度数据。 ;星型结构的实例;雪花结构的实例;星型雪花型结构的实例; 将原来业务系统的数据经过抽取、转换、加载到数据仓库所在的中心存储库的过程称为ETL (Extraction, Transformation and Loading)过程，制定这个过程的策略称之为ETL策略，而完成ETL过程的工具则是ETL工具。相对于数据仓库中的表而言，业务系统数据库中的表称为源表，业务系统数据库称为源数据库，数据仓库中所有的数据都来自于业务系统数据库。在打造一个数据仓库的过程中，ETL的实施是一项繁琐、冗长而艰巨的任务，因为它关系到数据仓库中数据的质量问题，如果导入的数据漏洞百出，对决策者来说无疑是个噩耗。 ETL过程是搭建“数据仓库”时最重要的和最易误解的步骤之一。; ETL过程不仅仅是数据的迁移(Migration)或净化(Cleansing)，也应该是企业数据管理策略中不可缺少的一部分。 ETL过程的功能是：发现数据仓库需要的数据，将其从源系统中抽取出来，并进行一定的处理，然后装载到数据仓库中去。 ;ETL功能－提高数据质量;ETL功能－提高数据质量;ETL功能－搭建数据仓库;ETL功能－搭建数据仓库;ETL功能－搭建数据仓库;提高数据质量 提供一种统一的、跨平台的存取数据方法 将数据“信息化”，为企业决策者的经营分析提供信息来源 ;ETL的流程;ETL的流程;ETL的流程;ETL的流程;ETL流程－数据抽取;ETL流程－数据抽取;ETL流程－数据抽取;ETL流程－数据抽取;ETL流程－