第一章数据仓库基本及通用框架预案.pptVIP

MIS的应用→海量信息→产生了与传统数据库有很大差异的数据环境→ 如何从这些海量数据中获取专门的知识→…… §1 基本概念 §2 数据仓库的通用框架 参考书;§1 基本概念 1.数据仓库的定义 数据仓库（DW，Data Warehouse）是 “一个面向主题的、集成的、随时间变化的、非易失性数据的集合，用于支持管理层的决策过程”。[William H.Inmon,1993] ? 面向主题的：对应某一个宏观分析领域， 如，销售。;上述概念中涉及到的“主题”： 在一个较高管理层次上，对信息系统中的数据按照某一具体的管理对象进行综合、归类所形成的分析对象——基于信息管理的角度； 是一些数据的集合，这些数据集合对分析对象进行了比较完整的、一致的描述，这种描述不仅涉及到数据自身，还涉及到数据间的联系——基于数据组织的角度。;因此，数据仓库的该特性???求： ① 抽取主题 —— 按决策分析过程进行。 ② 界定数据 —— 确定所抽取的主题包含哪些数据。 ③ 组织数据 —— 如何组织上述数据（往往使用多维数据库或关系数据库的方式进行组织）。;? 集成的 对分散在各处的数据源进行抽取、筛选、清理、综合等加工工作，然后存放在数据仓库中，可见，集成是建立DW的关键步骤。 数据仓库的数据主要源于各个业务处理系统，由于其用途各不相同，因此需上述处理工作。 清理——把各个数据源的单位、内容、字长等统一起来，消除字段名的同名异义、异名同义等现象。;? 随时间变化的（时变性） 数据仓库中的数据，虽然不像业务处理系统那样记载的是实时数据，但也要随着时间的推移补充与主题相关的、变化了的数据（快照），快照的时间间隔根据决策需求而定（年/月/天）。此外还有： 删除过了时的数据；及时更新DW中的那些概括数据。 为满足时变性进行的所有操作统称为数据仓库的刷新。;? 非易失的 DW的非易失性指的是，数据一旦进入数据仓库后，便不进行更新处理（但可以追加新数据），并且将保持一个相当长的时间。 数据仓库→查询、分析 业务处理系统→随时记录发生的业务 因此，DW中，可以可以通过索引、预计算等方式来提高查询效率。;? 集合性 事实上，“面向主题的”便要求DW以主题的某种数据集合的形式存储数据，其形式为以下三种之一： 多维数据库方式 关系数据库方式 多维数据库与关系数据库组合方式 显然，DW中，“集合”是否全面决定了数据仓库应用范围的大小。;? 支持决策 建立数据仓库的目的就是支持决策，其用户可以是高层/中层/基层管理者，他们可以利用所提供的分析工具，发现DW数据中隐含的商机，使得管理决策更加科学化。;2.DW与传统DB的比较;3.数据仓库的概念结构 数据仓库的概念结构包含：数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。 ;4.虚拟数据仓库结构 虚拟数据仓库利用（描述了业务系统中数据位置和抽取数据算法的）元数据直接从业务系统中抽取查询的数据进行概括、聚合操作后，将最终结果提供给用户。 [思考：优、缺点？];5.数据集市结构 数据集市，或称为主题结构的数据仓库是按照主题进行构思所形成的数据仓库，它没有一个独立的数据仓库。系统的数据不存储在同一数据仓库中，每个主题有自己的物理存储区。[思考：优、缺点？];6.单一数据仓库结构 将所有的主题都集中到一个大型数据库中的体系结构。数据源中数据被按照同一标准抽取到独立的数据仓库中，用户在使用时再根据主题将数据仓库中的数据发布到数据集市中。 [思考：优、缺点？];7.分布式数据仓库结构 各分公司具有相当大的独立性时，企业总部设置一个全局数据仓库，分公司设置各自的局部数据仓库。局部数据仓库主要存储各自的未经转换的细节数据，全局数据仓库中主要存储经过转换的综合数据。[思考：优缺点？];§2 数据仓库的通用框架 框架——把复杂的事物分为若干细小的易 于理解的构件的形式。 数据仓库研究中，常称为通用框架，或参考框架。 最初，DW的通用框架被描述为： ⑴ 数据集合（从运行的DB中抽取）； ⑵ 软件环境（供用户存取数据）； ⑶ 应用程序及工具集合（用于复杂查询）。; 为了有助于理解，并给出DW实现过程中所需的更为详细的信息，对上述框架进行了进一步细化。 右图给出了细化之后通用框架的顶层结构。;若干说明： ? 框架由若干层和块组成； ? 数据管理和元数据