数据仓库概要.pptVIP

数据仓库与数据挖掘 课程简介： 1. 为什么出现数据仓库与数据挖掘？ 啤酒与尿布 7-11 2. 研究内容 从海量数据中找到规律与联系，为决策提供支持 3. 数据仓库与数据库的不同 数据库与数据仓库 主要学习内容： 第一篇 数据仓库与OLAP 数据仓库 联机分析处理技术（OLAP） 数据预处理技术 数据清洗 数据集成和变换 数据约简 第二篇 数据挖掘 数据挖掘技术 关联规则挖掘、分类、聚类分析 数据挖掘在各领域的应用等。 主要参考书： ? 1．《数据仓库》?? Inmon W.H 著? 机械工业出版社 ? 2．《数据挖掘 – 概念与技术》?? Jiawei Han Micheline Kamber?? 著 机械工业出版社 ? 3．《数据挖掘 》?? 朱明? 著?? 中国科学技术大学出版社 ? 4．《数据仓库与联机分析处理》? 王珊等? 著??? 科学出版社 考核方法： 考核采取笔试结合实验的方法： 实验成绩 30% 笔试成绩 70% 第一章 数据仓库概述 本章介绍了数据仓库技术产生的背景、数据仓库的含义与特征、数据仓库与操作型数据库系统的区别和数据仓库的基本体系结构。 ? 1.1 数据仓库的产生 ? 1.2 数据仓库的含义 ? 1.3 数据仓库的特征 ? 1.4 数据库系统与数据仓库 ? 1.5 数据仓库的基本结构 1.6 数据仓库的基本概念 1.7 数据仓库的数据组织 1．1 数据仓库的产生 1. 数据处理分为两类： 事物处理 分析处理 2. 传统数据库较难满足分析处理的要求： 历史数据需求量大 不同系统的数据难以集成（蜘蛛网问题） 对大量数据的访问性能不足 事务处理和分析处理数据环境的分离 1.2 数据仓库的含义 对于什么是数据仓库，还有许多不同的定义，如： “数据仓库是融合方法、技术和工具以在完整的平台上将数据提交给终端用户的一种手段”。 “数据仓库是对分布在企业内部各处的业务数据的整合、加工和分析的过程”。 “数据仓库是一种具有集成性、稳定性和提供决策支持的处理”。 “为查询和分析（不是事务处理）而设计的关系数据库” 20世纪80年代中期，“数据仓库”这个名词首次出现在号称“数据仓库之父”W.H.Inmon的《Building Data Warehouse》一书中，在该书中，W.H.Inmon把数据仓库定义为“一个面向主题的、集成的、稳定的、随时间变化的数据的集合，以用于支持管理决策过程。”（“A data warehouse is a subject-oriented, integrated, non-volatile, time-variant collection of data in support of management decisions.”） 1.3 数据仓库的特征 数据仓库的数据是面向主题的 数据仓库的数据是集成的 数据仓库的数据是非易失的 数据仓库的数据是随时间不断变化的 ） 示例了一个电信企业的情况。 计费数据库:计费数据库记录了客户的消费情况 财务数据库:财务数据库记录了客户的缴费情况 客户服务数据库:客户的咨询和投诉情况 如果直接基于传统数据库系统进行“客户”和“收益”信息的分析，则需要访问多个数据库才能获得客户或收益各个侧面的信息（收益主题需从计费数据库和财务数据库中了解公司各项业务的收入情况；客户主题则要从计费数据库、财务数据库、客户服务数据库中获得客户消费、交费、咨询等全方位的信息。），这样将极大的影响系统处理的时间和效率，并且数据之间的不一致性和不同步等问题将影响决策的可靠性。而以“客户”和“收益”主题组织的数据仓库，将某个主题的全部相关数据集中于一个地方，这样决策者可以非常方便地在数据仓库中的一个位置检索包含某个主题的所有数据。 数据仓库中存储的数据一般从企业原来已建立的数据库系统中提取出来，但并不是原有数据的简单拷贝，而是经过了抽取、筛选、清理、综合等工作。这是因为： 1） 原有数据库系统记录的是每一项业务处理的流水帐，这些数据不适合于分析处理。在进入数据仓库之前必须经过综合、计算，同时抛弃一些分析处理不需要的数据项，必要时还要增加一些可能涉及的外部数据。 2） 数据仓库每一个主题所对应的源数据在源分散数据库中有许多重复或不一致之处，必须将这些数据转换成全局统一的定义，消除不一致和错误之处，以保证数据的质量；显然，对不准确，甚至不正确的数据