第12章第12章数据仓库技术.pptVIP

12.4 数据仓库系统的体系结构 由于数据仓库的数据来源于多种不同的数据源。它们可能是不同平台上异构数据库中的数据，也可能是外部独立的数据文件、Web页面、市场调查报告等等。 因此，这些数据常常是不一致的。例如： （1）同一字段在不同应用中具有不同数据类型； （2）同一字段在不同应用中具有不同的名字； （3）同名字段，不同含义。 12.4 数据仓库系统的体系结构 为了将这些不一致的分散的数据集成起来，必须对它们进行转换后才能供分析之用。数据抽取、清洗、转换工具就是用来完成这些工作。 数据抽取工具主要通过网关或标准接口把原来OLTP系统中的数据按照数据仓库的数据组织进行抽取。 数据清洗主要是对源数据之间的不一致性进行专门处理，并且要去除与分析无关的数据或不利于分析处理的躁声数据。 12.4 数据仓库系统的体系结构 数据经过抽取、清洗和转换后，就可以装载到数据仓库中，这由数据仓库的装载工具来实现。 装载工具要解决的另一个问题是对大数据量的处理。数据仓库中的数据量比OLTP系统要大得多，进行装载需要很长的时间。目前通常的解决方式有两种：并行装载和增量装载。并行装载是把任务进行分解，充分利用CPU资源。增量装载就是只装载修改的元组以减少需要处理的数据量。 12.4 数据仓库系统的体系结构 数据仓库维护的主要内容是，周期性把操作型环境中的新数据定期加入（pump）数据仓库中、刷新数据仓库的当前细节数据、将过时的数据转化成历史数据，清除不再使用的数据，调整粒度级别等。 12.4 数据仓库系统的体系结构 元数据管理工具是数据仓库系统的一个重要组成部分。由于分析需求的多变性，导致数据仓库的元数据也会经常变化，对元数据的维护管理比传统数据库对数据字典的管理要复杂和频繁得多。因此，需要一个专门的工具软件来管理元数据。 12.4 数据仓库系统的体系结构 12.4.2 数据仓库服务器和OLAP服务器 数据仓库服务器相当于数据库管理系统中的数据库管理系统，它负责管理数据仓库中数据的存储管理和数据存取，并给OLAP服务器和前端工具提供存取接口（如SQL查询接口）。 OLAP服务器透明地为前端工具和用户提供多维数据视图 。 12.4 数据仓库系统的体系结构 数据仓库服务器和OLAP服务器之间的功能划分没有严格的界限。其含义是： 从逻辑功能上可以划分为数据仓库服务器软件和OLAP服务器软件。 从物理实现上可以分别开发数据仓库服务器软件和OLAP服务器软件，也可以合二为一。 12.4 数据仓库系统的体系结构 12.4.3 前台工具 查询报表工具、多维分析工具、数据挖掘工具和分析结果可视化工具等结合在一起构成了数据仓库系统的前台工具层。 在实际工作中，查询工具、分析工具和挖掘工具是相互补充的，只有很好结合起来使用，才能达到最好的效果。 12.4 数据仓库系统的体系结构 总之，数据仓库系统是多种技术的综合体，它由数据仓库，数据仓库的后台工具、数据仓库服务器、OLAP服务器和前台工具等多个部分组成。在整个系统中，数据仓库居于核心地位，是数据分析和挖掘的基础; 数据仓库管理系统负责管理整个系统的运转，是整个系统的引擎; 而数据仓库工具则是整个系统发挥作用的关键。 12.5 企业的体系化数据环境 体系化数据环境是在一个企业或组织内, 由面向应用的各个OLTP数据库、以及各级面向主题的数据仓库所组成的完整的数据环境；并在这个数据环境上建立一个企业或部门的从联机事务处理到企业管理和决策的所有应用。 12.5 企业的体系化数据环境 12.5.1 数据环境的层次 个企业的数据环境一般分为四个层次：操作型环境、全局级数据仓库、部门级的局部仓库和个人级的数据仓库，如图12.4所示。 数据仓库 局部仓库 操作型环境 全局级 个人仓库 部门级 个人级 联机事务处理 全局应用和决策支持 中层部门管理和决策 个人级分析决策 图12.4 企业的体系化数据环境 12.5 企业的体系化数据环境 12.5.2 数据集市（Data Mart) 人们采取“自底向上” 的方法, 即先建立多个数据集市，再逐步集成，最终建立起全局数据仓库，如图12.5所示。