数据仓库与据挖掘课件ppt.ppt

第一章：数据仓库的基本概念 1-1 数据仓库的产生与发展传统的数据库技术作为数据管理手段，主要用于联机事务处理(OLTP,On-Line Transaction Process)， 数据库中保存的是大量的日常业务数据。在数据共享、数据与应用程序的独立性、维护数据的一致性与完整性、数据的安全保密性等方面提供了有效的手段。与分析型应用结合时存在的问题： 决策支持系统为掌握充分的信息，需要访问大量的企业内部数据和外部数据。 传统数据库中的大量数据是事务型数据，即该数据是对每一项工作、管理对象的具体的、细节性的描述。 事务处理型应用与分析决策型应用对数据库系统的性能要求不同。 传统数据库中保存和管理的一般是当前数据，而决策支持系统不仅需要当前的数据，而且还要求有大量的历史数据。结论：在事务处理型应用环境中直接构建分析决策型应用是不可行的。于是：面向分析决策型应用而组织和存储数据的数据仓库技术应运而生。时间：20世纪80年代初人物：W.H.Inmon定义: 数据仓库是面向主题的、集成的、具有时间特征的、稳定的数据集合，用以支持经营管理中的决策制定过程。A data warehouse is a subject-oriented,integrated, time-variant,and nonvolatile collection of data in support of management’s decision making process.数据仓库的四大特征：数据是面向主题的数据是集成的数据是具有时间特征的数据是相对稳定的数据仓库的其它特点：数据量非常大（10GB---1000GB）是数据库技术的一种新的应用使用人员较少  1-2 数据仓库与数据库操作型数据库分析型数据仓库 系统目的支持日常操作支持管理需求，获取信息 使用人员办事员、DBA、数据库专家 经理、管理人员、分析专家 数据内容当前数据历史数据、派生数据 数据特点细节的综合的或提炼的 数据组织面向应用面向主题 存取类型添加、修改、查询、删除 查询、聚集 数据稳定性 动态的相对稳定续上表：操作型数据库 分析型数据仓库 需求特点需求事先可知道需求事先不知道 操作特点一个时刻操作一单元 一个时刻操作一集合 数据库设计基于E-R图基于星型模式、雪花模式 一次操作数据量 一次操作数据量小一次操作数据量大 存取频率较高较低 响应时间小于3秒几秒—几十分钟1-3 数据仓库技术的术语主题: (Subject)主题是一个在较高层次上将数据归类的标准，每一个主题基本对应一个宏观的分析领域。例：面向主题：产品订货分析，货物发运分析， 新产品开发分析；面向应用：财务，销售，供应，人力资源，生产调度……. 主题域的特征：独立性，完备性 粒度：（Granularity）粒度是指数据仓库中数据单元的详细程度和级别。数据越详细，粒度越小，级别越低，回答查询的种类就越多。（数据堆积，回答综合问题效率低）数据越综合，粒度越大，级别越高，回答查询的种类就越少。维度：（Dimension）维度是指人们观察事物的角度。例如：当人们关注产品销售情况时，有如下维度：时间维：随时间变化的销售数据；地区维：不同地区的销售数据；客户维：不同客户的销售；……根据观察事物角度的细节程度不同，维又具有维层次。数据；渠道维：不同销售渠道的销售数据；产品维：不同产品的销售数据例：时间维：日期、周、月份、季度、年等；地区维：城市、地区、国家等。 前端工具 数 据 预 处理工具技术体系结构图如下:第一章 数据仓库的基本概念 预 处 理 数 据 数 据 源 数据集市 数据集市 数据集市 总 线 查询 服务 数据 元数据 OLAP 数据挖掘 其他工具 报表生成器 抽取、转换、装载 可视化 分 析 结 果 后台 前台 潭绚蔚岔陕缝迭纫件绝夯傈摈桑颖木脓巫焕轩媚赶宜哄褐搂覆咽旭梆匹蕴数据仓库与数据挖掘课件ppt数据仓库与数据挖掘课件ppt 第一章 数据仓库的基本概念1-5-2 相关的数据存储数据源：数据源是数据仓库的原始来源，是数据仓库系统开发与应用的数据基础，分为两部分； 企业内部数据源 企业外部数据源 洋骇福果飞馏谗簇树慰淌陈箍紊禁舅妈数反姆叫与嘻爵腿份毁推霄氧红傻数据仓库与数据挖掘课件ppt数据仓库与数据挖掘课件ppt 第一章 数据仓库的基本概念主题数据：主题数据是数据仓库的核心数据，一般以多维数据模型的形式存储在数据仓库中，直接面向分析型用户的访问。主题数据的存储称为实视图，它与数据库的视图概念不同之处在于：它不是虚拟的，而是已经过计算，含有大量数据，并存储在数据仓库中的实实在在的表。 颤两涵克姥状沤呛阵琐五娥肮坊聚仔亦完脓少版归扔淹颊漳翠晾凶弧斋酬数