数据挖掘概念与技术 知识引言.ppt

第3章数据仓库和数据挖掘的OLAP技术 本章要点 数据仓库的基本概念 多维数据模型 数据仓库的系统结构 数据仓库实现 数据立方体技术的近一步发展 从数据仓库到数据挖掘 数据仓库的发展 自从NCR公司为Wal Mart建立了第一个数据仓库。 1996年，加拿大的IDC公司调查了62家实现了数据仓库的欧美企业，结果表明：数据仓库为企业提供了巨大的收益。 早期的数据仓库大都采用当时流行的客户/服务器结构。近年来分布式对象技术飞速发展，整个数据仓库体系结构从功能上划分为若干个分布式对象，这些分布式对象不仅可以直接用于建立数据仓库，还可以在应用程序中向用户提供调用的接口。 IBM的实验室在数据仓库方面已经进行了10多年的研究，并将研究成果发展成为商用产品。 其他数据库厂商在数据仓库领域也纷纷提出了各自的解决方案。 数据仓库的发展 IBM: 在其DB2UDB发布一年后的1998年9月发布5.2版，并于1998年12月推向中国市场，除了用于OLAP（联机分析处理）的后台服务器DB2 OLAP Server外，IBM还提供了一系列相关的产品，包括前端工具，形成一整套解决方案。 Informix公司: 在其动态服务器IDS（Informix Dynamic Server）中提供一系列相关选件，如高级决策支持选件（Advanced Decision Support Option）、OLAP选件（MetaCube ROLAP Option）、扩展并行选件（Extended Parallel Option）等，这种体系结构严谨、管理方便、索引机制完善，并行处理的效率更高，其中数据仓库和数据库查询的SQL语句的一致性使得用户开发更加简便。 数据仓库的发展 微软公司: 在其SQL Server7.0以及SQL Server2000中集成了代号为Plato的OLAP服务器。 Sybase: 提供了专门的OLAP服务器Sybase IQ，并将其与数据仓库相关工具打包成Warehouse Studio 。 PLATINUM: 提出了由InfoPump（数据仓库建模与数据加载工具）和ForestTrees（前端报表工具）构成的一套较有特色的整体方案。 ； Oracle公司: 则推出从数据仓库构建、OLAP到数据集市管理等一系列产品包（如Oracle Warehouse Builder、Oracle Express、DataMart Suit等）。 数据仓库的我国的发展 前景：随着计算机技术的发展，尤其是分布式技术的发展， 数据仓库在我国有着广阔的发展空间和良好的发展前景。例如： 由于银行商业化的步伐正在加大，各大中型银行在入世的机遇和挑战下，开始重新考虑自身的业务，特别是信贷风险管理方面特别注意，因而有关信贷风险管理和风险规章的基于数据仓库的决策支持系统的需求逐渐增多； 由于电子商务的迅速发展，越来越多的电子商务网站，开始考虑如何将数据仓库应用于商品销售分析、顾客的诚信度分析等，为客户提供更进一步的个性化服务； 如移动通信等各大型企业也开始考虑着手进行决策支持以及数据仓库规划。 数据挖掘的发展 数据挖掘是与数据仓库密切相关的一个信息技术新领域，它是信息技术自然演化的结果。 随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多，但缺乏挖掘数据中隐藏的知识的手段，导致了“数据爆炸但知识贫乏的”现象。 自80年代后期以来，联机分析处理（OLAP）和数据挖掘技术应运而生。 3.1数据仓库(Data Warehouse) 数据仓库用来保存从多个数据库或其它信息源选取的数据, 并为上层应用提供统一 用户接口，完成数据查询和分析。 数据仓库是作为DSS服务基础的分析型DB，用来存放大容量的只读数据，为制定决策提供所需要的信息。 数据仓库是与操作型系统相分离的、基于标准企业模型集成的、带有时间属性的、面向主题及不可更新的数据集合。 W.H.Inmon对数据仓库所下的定义：数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。 数据仓库的适用范围 信息源中的数据变化稳定 或可预测应用不需要最新的数据 或允许有延迟应用要求 有较高的查询性能 而降低精度要求 数据仓库中数据的特点 面向主题 集成性 稳定性 时变性 面向主题 主题：是一个抽象的概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑上，它对应于企业中某一宏观分析领域所涉及的分析对象。 面向主题的数据组织方式可在较高层次上对分析对象的数据给出完整、一致的描述，能完整、统一的刻画各个分析对象所涉及的企业的各项数据以及数据之间的联系，从而适应企业各个部门的业务活动特点和企业数据的动态特征，从根本上实现数据