数据仓库与数据挖掘基础第1章(赵志升)分析报告.ppt

数据仓库与数据挖掘Data Warehouse and Data Mining 河北北方学院：赵志升 参 考 书 目： 课程简介 各类管理人员需要从大量复杂的的业务数据中获取各自权限内的决策信息，及时把握市场变化脉搏，作出正确有效的判断与抉择； 随着数据库系统的逐日运行，数据将堆积越来越庞大； 数据处理的重点需要从传统业务扩展到业务数据的联机分析处理，并得到面向各种管理主题的统计信息和决策支持信息； 数据仓库是基于大规模数据库的DSS环境的核心。是学习计算机课程的必不可少的必修知识； 第一章 数据仓库基本概念 1.1 从数据库到数据仓库 1.2 什么是数据仓库 1.3 数据仓库与传统数据库的比较 1.4 数据仓库的系统结构 1.5 数据仓库的数据组织 1.6 小结 第一节 什么是数据仓库 第一节 什么是数据仓库 第一节 什么是数据仓库 第一节 什么是数据仓库 第一节 什么是数据仓库 第一节 什么是数据仓库 第一节 什么是数据仓库 第一节 什么是数据仓库 第一节 什么是数据仓库 第一节 什么是数据仓库 第一节 什么是数据仓库 1.3 数据仓库与传统数据库的比较 到目前为止，数据仓库在国外已经发展了十几年的时间。在国内，虽然起步较晚，但发展较为迅速。 目前有很多的大公司或企业正在建或计划建设不同规模的数据仓库和数据集市。 数据仓库建立在传统事务型数据库的基础之上，为企业决策支持系统、OLAP及数据挖掘系统提供数据源。 1.3 数据仓库与数据库的关系 数据库的应用包括：事务型应用和分析型应用 物理数据库实际存储的数据包括： 事务型数据（或称操作数据）和分析型数据（也可称为汇总数据、信息数据）。 起初，两类数据放到一起，即分散存储在各底层的业务数据库中。后来，随着企业规模的扩展、数据量的增加、以及希望在决策分析时得到更多支持需求的日益迫切，并且考虑保证原有事务数据库的高效性与安全性。因此将分析型数据与事务型数据相分离，单独存放，即形成了所谓的数据仓库。 1.3 数据仓库与数据库的关系 数据仓库只不过是因为用户需求增加而对某一类数据库应用的一个范围的界定。单就其是数据的存储容器这一点而言，数据仓库与数据库并没有本质的区别。 而且在更多的时候，我们是将数据仓库作为一个数据库应用系统来看待的。 因此，不应该说数据库到数据仓库是技术的进步。 数据仓库与数据库的区别 　　 数据仓库的出现，并不是要取代数据库。目前，大部分数据仓库还是用关系数据库管理系统来管理的。可以说，数据库、数据仓库相辅相成、各有千秋。 　　数据库是面向事务的设计，数据仓库是面向主题设计的。 　　数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 　　数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。 数据库与数据仓库的区别 演变过程 60年代 数据收集、数据库创建、信息管理系统（ MIS ）和网络数据库管理系统（Network DBMS） 70年代 关系数据模型以及关系型DBMS 80年代 高级数据模型 (具有扩充关系的, 面向对象的, 演绎的等等) 和 面向应用的 DBMS (空间的, 科学的, 工程的等等) 90年代至今 数据挖掘和数据仓库，多媒体数据库和Web数据库。 演变过程 在20世纪70年代之前，数据一般存储在文件中，由应用程序直接管理；之后有了简单的数据收集和数据库的构造；后来发展到对数据的管理，包括数据存储、检索以及数据库事务处理；再后来发展到对数据的分析和理解，这时候出现了数据仓库技术和数据挖掘技术。数据挖掘使数据库技术进入了一个更高级的阶段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，并且能够预测未来的数据。 数据库的局限性 传统数据库所能做到的只是对已有的数据进行存取以及简单的查询统计，即使是一些流行的OLAP工具，也无非是另一种数据展示方式而已。人们仍然无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。这也直接导致了目前“数据爆炸但知识匮乏”的现状。 数据仓库的数据组织 第一节 什么是数据仓库 第一节 什么是数据仓库 第一节 什么是数据仓库 第一节 什么是数据仓库 数据仓库的组织结构 过程模型 2.3 数据抽取、转换和加载 数据仓库需要将这些源数据经过抽取、转换和装载的过程，存储到数据仓库的数据模型中。 ETL过程 抽取（Extra