数据仓库础知识.ppt

数据仓库基础知识 数据仓库基本概念 数据仓库技术产生的背景 什么是数据仓库技术 数据仓库技术组成 数据参考参考架构 数据仓库的建设步骤 信息技术发展的几个阶段 1960s：数据采集、数据库创建阶段 集中于原始文件的处理 层次数据库和网状数据库 1970s：关系数据库系统 关系数据模型和关系数据库管理系统 E-R模型、sql语言、查询处理和优化、OLTP（恢复和并发技术） 1980s：高级数据库管理系统 面向对象数据库、对象－关系数据库、主动数据库、空间数据库等 数据挖掘技术 1990s：数据仓库、联机分析处理和数据挖掘 数据仓库、联机分析处理和数据挖掘、多媒体数据库、web数据库 现有数据库系统分析 on-line transaction processing联机事务处理系统(OLTP)也称为面向交易的处理系统 基本要求是顾客的原始数据可以立即传送到主机进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据，及时地回答。也称为实时系统(Real time System)。 衡量的重要性能指标是系统性能，具体体现为实时响应时间(Response Time)，即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。 主要支持如下业务： 一笔存款（一张存款单） 一笔转帐（一张转帐单） 一笔登记信息（一张登记信息表） 现有数据库系统分析 OLTP 数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。OLTP 数据库通常具有以下特征：支持大量并发用户定期添加和修改数据。 反映随时变化的单位状态，但不保存其历史记录。 包含大量数据，其中包括用于验证事务的大量数据。 具有复杂的结构。 可以进行优化以对事务活动做出响应。 提供用于支持单位日常运营的技术基础结构。个别事务能够很快地完成，并且只需访问相对较少的数据。OLTP 系统旨在处理同时输入的成百上千的事务。 税务信息化建设现状 在数据库技术的支持下，一大批成熟的业务信息系统投入运行，为税务发展作出了巨大贡献 各类信息系统大多属于面向事务处理的OLTP系统 信息系统多年运行，积累了大量的数据 数据是一种宝贵的资源，但没有充分发挥作用 管理决策层对数据分析基础平台的需求日益强烈 数据仓库基本概念 数据仓库技术产生的背景 什么是数据仓库技术 数据仓库技术组成 数据仓库参考架构 数据仓库的建设步骤 什么是数据仓库 数据仓库是作为决策支持系统（DSS）服务基础的分析型数据库，它用来存放大容量的只读数据，为制定决策提供所需的信息。 数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 －－bill inmon 数据仓库的特点 面向主题 操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。 集成的 数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。 相对稳定的 数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。 反映历史变化 数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。 数据仓库是完全不同的数据库系统 OLTP系统 数据仓库/决策分析系统 金税二期 CTAIS 办公自动化 出口退税 财务系统 高度 汇总数据 轻度 汇总数据 当前 详细数据 过去 详细数据 分析型CRM 业务指标分析 数据集市 5-10 年 数据仓库的内容和应用 1. 日常报表 2. 即席查询 3. 分析 4. 专题应用 5. 混合DSS/数据挖掘 Administration 1 2 3 4 5 数据仓库应用类型 应用价值 时间 税务数据仓库应用 税务决策支持主要针对：税收业务、行政管理两个方面。 税务数据仓库应用——业务查询 税务数据仓库应用——执法监督 税务数据仓库应用——业务分析 税务数据仓库应用——预测 为什么要建立数据仓库 目前数据应用存在的问题： 数据存放较分散，异构环境不易进行统一的查询访问。 源