数据仓库与数据挖掘技术概述1final教学幻灯片.pptVIP

第一章数据仓库基本概念 数据仓库技术产生的背景 什么是数据仓库技术 数据库技术与数据仓库技术 数据库技术在系统功能和性能需求 强调的是多用户环境下如何针对并发用户的增删改操作，保证数据的一致性和可恢复性，并发用户的吞吐量为数据库管理系统的重要性能指标 数据仓库技术在系统功能和性能需求 强调的是大数据量环境下的高效、快速查询，查询的吞吐量为数据仓库管理系统的重要性能指标 不同的需求，要求将操作型环境和分析型环境相分离 在操作型环境中支持分析应用太复杂、太困难 操作性环境不支持域（Domain）之间的联系，仅仅支持表之间的连接 不同的数据环境要求从数据组织（结构）和操作上进行工作 首先是抽取，然后是抽取之上的抽取，接着是这个基础上的再次抽取，抽取方式失控， 把这种情况叫做自然演化式体系结构，当一个组织以放任自由的态度处理整个硬，软件系统时会出现这种情况。 企业范围内的信息共享 准确、一致的集成数据 面向整个企业和最终用户，针对分析需要，进行数据重组，形成一套全新的、相对完整的数据视图 快速访问 精确、灵活分析 对数据仓库的理解 1从建立的目标来说 2从建立的过程来说 多个表，公共码键（把各个表统一联系起来），但同一主题的表可存放在不同介质上 例：商品主题可有商品表（商品基本信息），采购表（商品采购信息），销售表（商品销售信息），库存表（商品库存信息）；公共码键：商品号。 综合信息，多个层次 面向主题数据组织方式独立于数据的事务处理逻辑。即可以支持分析型数据环境，又可用于ODS（操作数据存储）系统（作为全局数据库的数据组织方式） 但同一主题的表可存放在不同介质上 例：商品主题可有商品表（商品基本信息），采购表（商品采购信息），销售表（商品销售信息），库存表（商品库存信息）；公共码键：商品号。 数据仓库与数据挖掘技术概述 数据仓库 参考教材 数据仓库与数据挖掘原理及应用技术 王丽珍等, 科学出版社，2004年 其它参考书 Building the data warehouse,W.H Inmon, 机械工业出版社 2004 The Data Warehouse Toolkit(2ndEdition) R.Kimball 电子工业出版社 2002 Data Mining: Concepts and Techniques. JiaweiHan and MichelineKamber. 机械工业出版社, 2001. 史忠植，知识发现，清华大学出版社，2002 课程主要内容 概述 数据仓库 联机分析处理 数据仓库的设计 数据预处理 维度建模 数据挖掘 聚类 关联规则 分类 信息技术发展的几个阶段 1960s: 数据采集、数据库创建阶段 集中于原始文件的处理 层次数据库和网状数据库 1970s: 关系数据库管理系统 关系数据模型和关系数据库管理系统 E-R模型、SQL语言、查询处理和优化、OLTP（恢复和并发技术） 1980s: 高级数据库管理系统 面向对象数据库、对象－关系数据库、主动数据库、演绎数据库、模糊数据库、空间数据库、时空数据库、统计数据库 数据挖掘技术 1990s: 数据仓库、联机分析处理和数据挖掘 数据仓库、联机分析处理和数据挖掘, 多媒体数据库, Web数据库、Data Stream 企业信息化建设现状 在数据库技术的支持下，一大批成熟的业务信息系统投入运行，为企业发展作出了巨大贡献 各类信息系统大多属于面向事务处理的OLTP系统 信息系统多年运行，积累了大量的数据 数据是一种宝贵的资源，但没有充分发挥作用 管理决策层对数据分析基础平台的需求日益强烈 企业信息化建设提出了更高的要求 市场竞争日益激烈—创造竞争优势 需要及时、准确的做出科学决策 科学决策必须以准确、有效的数据为基础 充分利用现有数据，将它转化为信息 分析人员典型的信息需求 覆盖企业内部信息、合作伙伴信息和市场信息 覆盖综合信息和明细信息 覆盖当前数据和历史数据 高可用性 高质量的数据（一致性、完整性） 支持各种不同的分析方法 数据定义符合业务人员要求 组织内部 横向共享信息 数据的重构 个人授权 服务和质量管理 组织之间 合作伙伴 客户驱动的解决方案 战略联盟 价值链和供应链 市场 竞争对手 市场分割 实时的市场行情 全球化 操作型数据和分析型数据的区别 原始数据/操作型数据 导出数据/分析型数据 面向应用 面向主题 详细的 综合的，或提炼的 在访问瞬间是准确的 代表过去的数据，快照 是为日常工作服务 为管理者服务 可更新 不更新 重复运行 启发式运行 处理需求预先可知 处理需求事先不知道 非冗余性 总是存在冗余 对性能要求高 对性能要求宽松 一次访问一个单元 一次访问一个