第2章数据仓库的数据存储与处理重点.ppt

数据仓库与数据挖掘 数据仓库与数据挖掘 * 数据仓库与数据挖掘 * 第2章 数据仓库的数据存储与处理 * 数据仓库与数据挖掘 * 数据仓库的数据存储与处理是数据仓库系统实施的三个关键环节之一，因此本章主要探讨数据的存储结构设计和数据处理技术的研究。 遥想当年我基本上是暑假2个月的时间在公安局进行数据的ETL处理，悲催的是还仅仅针对一张表而已，说起来都是泪啊。。。。。。 * 数据仓库与数据挖掘 * 2.1 数据仓库的三层数据结构 OLAP数据库 OLTP应用 OLAP应用 什么是ODS? ODS全称为Operational Data Store，即操作型数据存储，是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合，用来满足企业综合的、集成的以及操作型的处理需求” 。 ODS是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征。 * 数据仓库与数据挖掘 * 2.1 数据仓库的三层数据结构 ODS的出现 系统应用集成中一般对各系统中数据分为两类： 操作型数据，有细节化，分散化的特点； 决策型数据，有综合化，集成化的特点。 ?数据仓库概念的提出也把数据处理划分为了操作型处理和分析型处理两种不同类型，从而建立起了DB-DW的两层体系结构。 。 * 数据仓库与数据挖掘 * 2.1 数据仓库的三层数据结构 ODS的出现 但是有很多情况，DB-DW的两层体系结构并不能涵盖企业所有的数据处理要求,比如有些实时性决策问题,它要求获取数据周期不能太长,而且也需要一定程度的汇总。信息处理的多层次要求导致了一种新的数据环境——DB-DW的中间层ODS（操作型数据存储）的出现。 它像DW一样是一种面向主题，集成的数据环境，又像操作型DB一样包含着全局一致的、细节的当前的数据。这样就构成了DB-ODS-DW的关于企业数据的三层体系结构。 。 * 数据仓库与数据挖掘 * 2.1 数据仓库的三层数据结构 * 数据仓库与数据挖掘 * 2.1 数据仓库的三层数据结构 * 数据仓库与数据挖掘 * 2.1 数据仓库的三层数据结构 * 数据仓库与数据挖掘 * 2.2 数据仓库的数据特征 状态数据与事件数据 描述对象的状态即为状态数据; 描述对象的发生的事件即为事件数据; (前)状态数据?事件数据?(后)状态数据 * 数据仓库与数据挖掘 * 2.2 数据仓库的数据特征 当前数据与周期数据 当前数据仅保留当前的最新数据; 商品编号 商品名称 现有库存量 更新日期 A001 A方便面 100 2008-7-25 B002 B方便面 200 2008-7-25 商品编号 商品名称 现有库存量 更新日期 A001 A方便面 85 2008-7-26 B002 B方便面 210 2008-7-26 C003 C方便面 300 2008-7-26 * 数据仓库与数据挖掘 * 2.2 数据仓库的数据特征 当前数据与周期数据 周期数据则相反,一旦保存就不再改变和删除. 商品编号 商品名称 现有库存量 更新日期 A001 A方便面 100 2008-7-25 B002 B方便面 200 2008-7-25 商品编号 商品名称 现有库存量 更新日期 A001 A方便面 100 2008-7-25 B002 B方便面 200 2008-7-25 A001 A方便面 85 2008-7-26 B002 B方便面 210 2008-7-26 C003 C方便面 300 2008-7-26 * 数据仓库与数据挖掘 * 2.2 数据仓库的数据特征 数据仓库中的元数据 在传统的数据库中,元数据是对数据库中各个对象的描述,数据库中的数据字典就是这么一种元数据. 比如在管理、维护 SQL Server 或者是开发数据库应用程序的时候，我们经常要获取一些涉及到数据库架构的信息： 某个数据库中的表和视图的个数以及名称； 某个表或者视图中列的个数以及每一列的名称、数据类型、长度、精度、描述等； 某个表上定义的约束； 某个表上定义的索引以及主键/外键的信息。 * 数据仓库与数据挖掘 * 2.2 数据仓库的数据特征 数据仓库中的元数据 系统存储过程 sp_databases 返回当前服务器上的所有数据库的基本信息。 sp_server_info 返回当前服务器的各种特性及其对应取值。 sp_sproc_columns 返回指定存储过程的的输入、输出参数的信息。 sp_statistics 返回指定的表或索引视图上的所有索引以及统计的信息。 sp_stored_procedures 返回当前数据库的存储过程列表，包含系统存储过程。 sp_tables 返回当前数据库的所