第12章数据仓库技术(不讲).ppt

12.4 数据仓库系统的体系结构 数据经过抽取、清洗和转换后，就可以装载到数据仓库中，这由数据仓库的装载工具来实现。 装载工具要解决的另一个问题是对大数据量的处理。数据仓库中的数据量比OLTP系统要大得多，进行装载需要很长的时间。目前通常的解决方式有两种：并行装载和增量装载。并行装载是把任务进行分解，充分利用CPU资源。增量装载就是只装载修改的元组以减少需要处理的数据量。 12.4 数据仓库系统的体系结构 数据仓库维护的主要内容是，周期性把操作型环境中的新数据定期加入（pump）数据仓库中、刷新数据仓库的当前细节数据、将过时的数据转化成历史数据，清除不再使用的数据，调整粒度级别等。 12.4 数据仓库系统的体系结构 元数据管理工具是数据仓库系统的一个重要组成部分。由于分析需求的多变性，导致数据仓库的元数据也会经常变化，对元数据的维护管理比传统数据库对数据字典的管理要复杂和频繁得多。因此，需要一个专门的工具软件来管理元数据。 12.4 数据仓库系统的体系结构 12.4.2 数据仓库服务器和OLAP服务器 数据仓库服务器相当于数据库管理系统中的数据库管理系统，它负责管理数据仓库中数据的存储管理和数据存取，并给OLAP服务器和前端工具提供存取接口（如SQL查询接口）。 OLAP服务器透明地为前端工具和用户提供多维数据视图 。 12.4 数据仓库系统的体系结构 数据仓库服务器和OLAP服务器之间的功能划分没有严格的界限。其含义是： 从逻辑功能上可以划分为数据仓库服务器软件和OLAP服务器软件。 从物理实现上可以分别开发数据仓库服务器软件和OLAP服务器软件，也可以合二为一。 12.4 数据仓库系统的体系结构 12.4.3 前台工具 查询报表工具、多维分析工具、数据挖掘工具和分析结果可视化工具等结合在一起构成了数据仓库系统的前台工具层。 在实际工作中，查询工具、分析工具和挖掘工具是相互补充的，只有很好结合起来使用，才能达到最好的效果。 12.4 数据仓库系统的体系结构 总之，数据仓库系统是多种技术的综合体，它由数据仓库，数据仓库的后台工具、数据仓库服务器、OLAP服务器和前台工具等多个部分组成。在整个系统中，数据仓库居于核心地位，是数据分析和挖掘的基础; 数据仓库管理系统负责管理整个系统的运转，是整个系统的引擎; 而数据仓库工具则是整个系统发挥作用的关键。 12.5 企业的体系化数据环境 体系化数据环境是在一个企业或组织内, 由面向应用的各个OLTP数据库、以及各级面向主题的数据仓库所组成的完整的数据环境；并在这个数据环境上建立一个企业或部门的从联机事务处理到企业管理和决策的所有应用。 12.5 企业的体系化数据环境 12.5.1 数据环境的层次 个企业的数据环境一般分为四个层次：操作型环境、全局级数据仓库、部门级的局部仓库和个人级的数据仓库，如图12.4所示。 数据仓库 局部仓库 操作型环境 全局级 个人仓库 部门级 个人级 联机事务处理 全局应用和决策支持 中层部门管理和决策 个人级分析决策 图12.4 企业的体系化数据环境 12.5 企业的体系化数据环境 12.5.2 数据集市（Data Mart) 人们采取“自底向上” 的方法, 即先建立多个数据集市，再逐步集成，最终建立起全局数据仓库，如图12.5所示。 数据集市是部门级的数据仓库。数据集市的组织标准是多种多样的。 数据集市的思想同时提供了分布式数据仓库的思想。如果我们按照数据的地理分布来组织数据集市, 就形成了一个地理上分布的数据仓库。 12.5 企业的体系化数据环境 Data Mart 采购子系统 库存子系统 人事管理 财务子系统 销售子系统 数据抽取 数据抽取 数据抽取 数据抽取 数据抽取 全局数据仓库 数据再抽取与集成 图12.5 数据集市 12.6创建数据仓库 创建数据仓库是一个复杂的过程，主要包括以下步骤： 1．定义数据仓库的体系结构，规划数据存储，并选择数据仓库管理软件和相应的前后台工具。 2．设计数据仓库的模式和视图。 3．定义数据仓库数据的物理组织、数据分布和存取方法。 12.6创建数据仓库 4．集成计算机软硬件，建立数据仓