第2次课数据仓库new.pptxVIP

第 2 章 数据仓库第2章 数据仓库主要内容数据仓库基本概念数据仓库体系结构数据仓库元数据数据仓库的数据模式多维分析高性能物理数据仓库设计第2章 数据仓库主要内容数据仓库基本概念数据仓库体系结构数据仓库元数据数据仓库的数据模式多维分析高性能物理数据仓库设计第2章 数据仓库数据仓库基本概念应用背景及需求 随着数据库技术的应用普及和发展，人们不再仅仅满足于一般的业务处理，而对系统提出了更高的要求：提供决策支持（DSS、OLAP）需求一种面向分析的环境；一种把相关的各种数据转换成有商业价值的信息的技术。第2章 数据仓库数据仓库基本概念从数据库到数据仓库 数据库系统能够很好的用于事务处理，但它对分析处理的支持一直不能令人满意。特别是当以业务处理为主的联机事务处理（OLTP） 应用和以分析处理为主的DSS应用共存于一个数据库系统时，就会产生许多问题。 例如，事务处理应用一般需要的是当前数据，主要考虑较短的响应时间；而分析处理应用需要是历史的、综合的、集成的数据，它的分析处理过程可能持续几个小时，从而消耗大量的系统资源。 人们逐渐认识到直接用事务处理环境来支持DSS是行不通的。要提高分析和决策的有效性，分析型处理及其数据必须与操作型处理及其数据分离。必须把分析型数据从事务处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境。 数据仓库技术正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。第2章 数据仓库数据仓库基本概念OLTP（on-line transaction processing）与OLAP（On-Line Analytical Processing）区别 主要通过以下五点区分开来。 用户和系统的面向性OLTP是面向顾客的,用于事务和查询处理; OLAP是面向市场的,用于数据分析 数据内容 OLTP系统管理当前数据; OLAP系统管理大量历史数据,提供汇总和聚集机制. 数据库设计 OLTP采用实体-联系ER模型和面向应用的数据库设计; OLAP采用星型或雪花模型和面向主题的数据库设计. 视图 OLTP主要关注一个企业或部门内部的当前数据,不涉及历史数据或不同组织的数据; OLAP则相反. 访问模式 OLTP系统的访问主要由短的原子事务组成.这种系统需要并行和恢复机制; OLAP系统的访问大部分是只读操作操作型数据分析型数据第2章 数据仓库细节的综合的，或提炼的在存取瞬间是准确的代表过去的数据可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期对性能要求高对性能要求宽松一个时刻操作一个单元一个时刻操作一个集合事物驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量大支持日常操作支持管理需求第2章 数据仓库数据仓库基本概念数据仓库与决策支持系统 用户在进行决策制定时需要得到企业各方面的信息，因此用户一般首先根据各个业务部门数据库中的数据，创建数据仓库，存储各种历史信息和汇总信息。 对数据仓库的进一步应用由功能强大的分析工具来实现。现在主要有三类分析工具可用于决策支持。 第一类能够支持涉及分组和聚集查询，并能够对各种复杂的布尔条件、统计函数和时间序列分析提供支持的系统。主要由上述查询组成的应用称为联机分析处理，即OLAP。在支持OLAP查询的系统中，数据最好看成是一个多维数组第2章 数据仓库数据仓库基本概念数据仓库与决策支持系统 第二类系统仍为支持传统SQL查询的DBMS，但为了有效地执行OLAP查询而进行了特殊的设计。这些系统可以看作是为决策支持应用进行了优化的关系数据库系统。许多关系数据库厂商对他们的产品进行了扩展，并且随着时间的推移，专门的OLAP系统和支持决策支持的关系数据库系统之间的差别将逐渐取消第2章 数据仓库数据仓库基本概念数据仓库与决策支持系统 第三类的分析工具可用于在大量的数据集合中，找到有意义的数据趋势或者模式，而不是上面提到的复杂数据查询。在数据分析过程中，尽管分析者能够判定得到的数据模式是否有意义，但是生成查询来得到有意义的模式还是很困难的。例如，分析者查看信用卡使用记录，希望从中找出不正常的信用卡使用行为，以表明是被滥用的丢失的信用卡；商人希望通过查看客户记录找出潜在的客户来提高收益。许多应用涉及的数据量很大，很难用人工分析或者传统的统计分析方法进行分析，数据挖掘的目的就是对这种大量数据的分析提供支持。第2章 数据仓库数据仓库基本概念数据仓库定义及特征 数据仓库理论的创始人W.H.Inmon在其《Building the Data Warehouse》一书中，给出了数据仓库的四个基本特征： 面向主题， 数据是集成的， 数据是不可更新的， 数据是随时间不断变化的第2章 数据仓库数据仓库基本概念数据仓库定义及特征面向主题主题是在较高层次