复旦商务智能概论--2数据仓库DataWarehouse.pptxVIP

数据仓库Data Warehouse赵卫东 博士复旦大学软件学院事务型处理事务型处理：即操作型处理，是指对数据库的联机操作处理OLTP。事务型处理是用来协助企业对响应事件或事务的日常商务活动进行处理。它是事件驱动、面向应用的，通常是对一个或一组记录的增、删、改以及简单查询等〔大量、简单、重复和例行性〕。在事务型处理环境中，数据库要求能支持日常事务中的大量事务，用户对数据的存取操作频率高而每次操作处理的时间短。分析型处理分析型处理：用于管理人员的决策分析，例如DSS、 EIS和多维分析等。它帮助决策者分析数据以观察趋向、判断问题。分析型处理经常要访问大量的历史数据，支持复杂的查询。分析型处理过程中经常用到外部数据，这局部数据不是由事务型处理系统产生的，而是来自于其他外部数据源。特性OLTPOLAP特征面向用户功能DB 设计数据汇总视图工作单位存取关注操作访问记录数用户数DB规模优先度量操作处理事务办事员、DBA、数据库专业人员日常操作基于E-R，面向应用当前的；确保最新原始的，高度详细详细，一般关系短的、简单事务读/写数据进入主关键字上索引/散列数十个数千100MB到GB高性能，高可用性事务吞吐量信息处理分析知识工人（如经理、主管、分析员）长期信息需求，决策支持星形/雪花，面向主题历史的；跨时间维护汇总的，统一的汇总的，多维的复杂查询大多为读信息输出大量扫描数百万数百100GB到TB高灵活性，端点用户自治查询吞吐量，响应时间事务型处理数据和分析型处理数据的区别InternetclientSSLapplicationsApplicationlayerBrowsersWebserversXMLExceldocumentspreadsheetData managementOraclelayerSQLDB2Server数据库系统的局限性数据库适于存储高度结构化的日常事务细节数据，而决策型数据多为历史性、汇总性或计算性数据，多表现为静态数据，不需直接更新，但可周期性刷新。决策分析型数据是多维性，分析内容复杂。在事务处理环境中，决策者可能并不关心具体的细节信息，在决策分析环境中，如果这些细节数据量太大一方面会严重影响分析效率，另一方面这些细节数据会分散决策者的注意力。数据库系统的局限性〔续〕当事务型处理环境和分析型处理环境在同一个数据库系统中，事务型处理对数据的存取操作频率高，操作处理的时间短，而分析型处理可能需要连续运行几个小时，从而消耗大量的系统资源。决策型分析数据的数据量大，这些数据有来自企业内部的，也有来自企业外部的。来自企业外部的数据又可能来自不同的数据库系统，在分析时如果直接对这些数据操作会造成分析的混乱。对于外部数据中的一些非结构化数据，数据库系统常常是无能为力。多库系统的限制可用性：源站点或通信网络故障将导致系统瘫痪, 源站点不能通过网络在线联入多库系统。响应速度：全局查询多级转换和通信传输, 延迟和低层效率影响响应速度。系统性能：总体性能取决于源站点中性能最低的系统, 影响系统性能的发挥;系统开销：每次查询要启动多个局部系统, 通信和运行开销大。 实施数据仓库的条件数据积累已到达一定规模面临剧烈的市场竞争在IT方面的资金能得到保障数据仓库的开展自从NCR公司为Wal Mart建立了第一个数据仓库。1996年，加拿大的IDC公司调查了62家实现了数据仓库的欧美企业，结果说明：数据仓库为企业提供了巨大的收益。早期的数据仓库大都采用当时流行的客户/效劳器结构。近年来分布式对象技术飞速开展，整个数据仓库体系结构从功能上划分为假设干个分布式对象，这些分布式对象不仅可以直接用于建立数据仓库，还可以在应用程序中向用户提供调用的接口。IBM的实验室在数据仓库方面已经进行了10多年的研究，并将研究成果开展成为商用产品。其他数据库厂商在数据仓库领域也纷纷提出了各自的解决方案。数据仓库(Data Warehouse)数据仓库用来保存从多个数据库或其它信息源选取的数据, 并为上层应用提供统一 用户接口，完成数据查询和分析。支持整个企业范围的主要业务来建立的，主要特点是，包含大量面向整个企业的综合信息及导出信息。数据仓库是作为DSS效劳根底的分析型DB，用来存放大容量的只读数据，为制定决策提供所需要的信息。数据仓库是与操作型系统相别离的、基于标准企业模型集成的、带有时间属性的、面向主题及不可更新的数据集合。以1992年W H Inmon出版?Building the Data Warehouse?为标志，数据仓库开展速度很快。 W H Inmon被誉为数据仓库之父。W H Inmon对数据仓库所下的定义：数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。面向主题数据仓库中的数据是按照各种主题来组织的。主题在数据仓