数据仓库ch01.pptVIP

教材及参考书 ? 参考书 陈文伟编著，数据仓库与数据挖掘教程，清华大学出版社 陈京民编著，数据仓库与数据挖掘技术，电子工业出版社 陈京民编著，数据仓库原理、设计与应用. 水利水电出版社 Jiawei Han Micheline Kamber， 范明等译，数据挖掘－概念与技术（中译本），机械工业出版社 任课教师：滕皓 办公地点：12J804 Email地址：ise_tengh@ujn.edu.cn 本课的目的 了解数据仓库的内在原理 掌握数据仓库设计、开发的基本方法及其应用 了解数据仓库和数据挖掘的关系以及KDD的基本结构 掌握数据挖掘的原理、相关算法及其应用 第1章数据仓库与数据挖掘概述 随着信息技术的不断推广和应用，许多企业都已经在使用管理信息系统处理管理事务和日常业务。这些管理信息系统为企业积累了大量的信息。企业管理者开始考虑如何利用这些信息海洋对企业的管理决策提供支持。因此，产生了与传统数据库有很大差异的数据环境要求和从这些海洋数据中获取特殊知识的工具需要。 本章目标： (1)了解数据仓库的发展与展望 。 (2) 理解数据仓库的体系结构和参照结构。 (3) 初步了解数据挖掘技术、数据挖掘技术与工具 。 (4) 掌握数据挖掘的应用 。 数据仓库与数据挖掘概述 1.1 数据仓库的发展与展望 1.2 数据仓库的体系结构 1.3 数据仓库的参照结构 1.4 数据挖掘技术概述 1.5 数据挖掘技术与工具 1.6 数据仓库和数据挖掘的结合 1.1 数据仓库的发展与展望 1.1.1从传统数据库到数据仓库 随着市场竞争的加剧，信息系统的用户已经不满足于仅仅用计算机去处理每天所发生的事务数据，而是需要信息——能够支持决策的信息，去帮助管理决策。这就需要一种能够将日常业务处理中所收集到的各种数据转变为具有商业价值信息的技术，传统数据库系统无法承担这一责任。因为传统数据库的处理方式和决策分析中的数据需求不相称。这些不相称性主要表现在决策处理中的系统响应问题、决策数据需求的问题和决策数据操作的问题。 1.1 数据仓库的发展与展望 1.决策处理的系统响应问题 2.决策数据需求的问题 3.决策数据操作的问题 4.数据仓库与传统数据库的对比 1.1 数据仓库的发展与展望 1.1.1 从数据库到数据仓库 1.1.2 从OLTP到OLAP 1.1.3 数据字典与元数据 1.1.4 数据仓库的定义与特点 1.1.5 数据仓库的未来发展 1.1.1 从数据库到数据仓库 （1）“数据太多，信息不足”的现状 （2）异构环境的数据的转换和共享 （3）利用数据进行数据处理转换为利用数据支持决策 1.数据库用于事务处理 数据库作为数据资源用于管理业务中的事务处理。它已经成为了成熟的信息基础设施。 数据库中存放的数据基本上是保存当前数据，随着业务的变化随时在更新数据库中的数据。 不同的管理业务需要建立不同的数据库。例如，银行中储蓄业务、信用卡业务分别要建立储蓄数据库和信用卡数据库。 2.数据仓库用于决策分析 数据库用于事务处理，数据仓库用于决策分析 数据库保持事务处理的当前状态，数据仓库既保存过去的数据又保存当前的数据 数据仓库的数据是大量数据库的集成 对数据库的操作比较明确，操作数据量少。对数据仓库操作不明确，操作数据量大 3.数据库与数据仓库对比 1.1.2 从OLTP到OLAP 1.联机事物处理（OLTP） 2.联机分析处理（OLAP） 3.OLTP与OLAP的对比 1.联机事物处理（OLTP） 联机事物处理（On Line Transaction Processing，OLTP）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。 OLTP应用要求多个查询并行，以便将每个查询分布到一个处理器上。 OLTP的特点在于事务处理量大，但事务处理内容比较简单且重复率高。 OLTP处理的数据是高度结构化的，涉及的事务比较简单，数据访问路径是已知的，至少是固定的。 OLTP面对象事务处理操作人员和低层管理人员。 2.联机分析处理（OLAP） 决策分析需要对多个关系数据库共同进行大量的综合计算才能得到结果。 E.F.Codd在1993年提出了多维数据库和多维分析的概念，即联机分析处理（On Line Analytical Processing，OLAP）概念。 关系数据库是二维数据（平面），多维数据库是空间立体数据。 OLAP的基本思想是决策者从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。 3.OLTP与OLAP的对比 1.1.3 数据字典与元数据