论数据仓库技术.pdfVIP

论数据仓库技术 秦学勇 吴国风 (合肥工业大学计算机与信息学院230009) 摘要本文主要阐述数据仓库的概念，详细探讨数据仓库中的关键技术。最后简要介绍一 下数据挖掘技术，以及数据仓库技术的发展方向． 关键词数据仓库分割决策支持系统粒度数据挖掘 1引言 随着计算机的应用和发展，数据处理越来越成为一个引人关注的问题，从世界上第一 台计算机的诞生到现在，人们对数据的管理经历了人工管理阶段(数据处理的方式是批处理 方式)，文件系统阶段(不仅有了文件批处理，而且还能够联机实时处理)，到数据库系统阶 段(DBMS对数据进行管理)．伴随着数据库理论的研究和发展，导致了操作型处理和分析型 事务处理的分离，在操作型系统中，数据以记录的形式不断被更新，而在分析型处理中需要 不断地访问和收集记录并进行分析判断，记录很少被改变．数据库系统作为一种有效的数据 管理手段，主要用于数据的事务管理，却无法直接支持数据分析．由此出现了一种可用于数据分 析处理和决策支持的数据存储和组织技术，即数据仓库(data 在这样的背景 warehouse)技术． 下，数据仓库技术诞生了，数据仓库技术是信息型DSS(决策支持系统)处理的核心． 2数据仓库的概念 数据仓库已经在很多行业广泛使用，商务管理人员通过收集、集成、预处理和存储数据仓 库中的数据进行分析和商务决策．数据仓库已被多次定义，广义上讲，数据仓库就是一个数据 库，～个特殊的数据库．在这里，我们引用一个权威公认的由数据仓库据之父W．H．Inmon所 下的定义：数据仓库是一个面向主题的、集成的、非易失的且随时间变化的集合，用来支持管 理人员的决策。这个简短定义说明了数据仓库的四个重要特征：面向主题的、集成的、时变的、 非易失的，从而将数据仓库和其他数据存储系统区别开来。下面具体说明一下这数四个特钲： (1)面向主题的(subject-oriented) 数据仓库始终围绕着诸如产品、顾客等这些主题展开的，数据仓库必须过滤和清除那些对 决策无用的数据，不同与传统的操作型系统是围绕具体应用而进行组织的． (2)集成的(integrated) 在数据仓库的特性中，这个特性是最重要的．数据仓库的构造是将多个异种数据源(如关 系数据库、文件、联机事务处理记录)集成在一起，使用数据清理和数据集成技术，使它们在 455 同一个数据仓库中有相同的命名规则和组织形式，从而消除不一致性，进行统一组织． (3)时变的(time。variant) 数据存储从历史的角度提供信息，数据仓库中数据的时间期限通常使5．10年，数据仓库 中的数据是某一时刻的复杂的快照，数据仓库的键码结构总是隐式或显式地包含时间元素． (4)非易失的(nonvolatile) 数据仓库中的数据通常是一起装入和访问的，数据被物理地分离存放，所以数据仓库～般 不需要事务处理、恢复和并发控制机制． 总的来说，数据仓库充当决策支持数据模型的物理实现，存放整个系统所需要的决策信 息．数据仓库是体系结构设计环境的核心，是决策支持系统(DSS)处理的基础，它支持查询、 分析报告和决策制订等功能． 3数据仓库技术 数据仓库系统不同与传统的数据库系统，联机操作型数据库系统主要是对日常的查询和 访问进行联机事务处理(OLTP)，它要求有较高的执行效率和并发控制，而数据仓库是综合多 种信息技术的运算环境，将全企业的运行数据汇集到一个关系数据库中，再将其转换成为面向 主题的形式，使终端用户可从历史角度对其进行查询分析，是集成化数据的集合．如图1所示： 图1 数据库和数据仓厍的关系图 数据仓库系统应用联机分析处理(OLAP)工具，通过上卷、下钻(钻过、钻透)、切片、 转轴(旋转)、求等级、计算平均值等操作对历史数据进行分析处理，从而给用户提供数据