2数据仓库基础分解.pptVIP

* 数据仓库基础 数据仓库基本概念 数据仓库技术产生背景 什么是数据仓库技术 数据仓库技术与相关技术的比较和联系 信息技术发展的几个阶段 1960s：数据采集、数据库创建阶段 基于原始文件的数据处理 层次数据库和网状数据库 1970s：关系数据库管理系统 E-R模型、SQL语言、查询处理和优化、OLTP 1980s：高级数据库管理系统 面向对象数据库、时空数据库、统计数据库 1990s：数据仓库、联机分析和数据挖掘 OLTP数据系统的侧重点 现有数据库系统主要用于事务处理 一笔存款 一笔取款 一笔转账 强调多用户并发环境，数据的一致性和完整性 企业信息化建设现状 在成熟的数据库技术支持下，一大批业务信息系统投入运行 各类信息系统大多属于面向事务处理的OLTP系统 信息系统积累了大量的数据 决策信息反而被大量的数据所淹没，数据资源没有充分发挥作用 管理决策层对数据分析基础平台的需求日益强烈 企业对信息化建设提出了更高要求 在日益激烈的市场竞争中创造竞争优势 需要及时、准确的做出科学决策 科学决策必须以准确、有效的数据为基础 充分利用现有数据，将其转化为信息 由产品为中心转向以客户为中心的经营管理模式 强调服务，尤其是个性化服务 分析处理的需求 例1：今年销售量下降的因素（时间、地区、商品、销售部门) 例2：持卡人今年的交易情况与以往相比，有怎样的变化？交易特点是什么？持卡人消费倾向是什么？ 要求： 多个子系统中的数据 历史数据 汇总、综合的数据 一致的数据视图 分析人员典型的信息需求 覆盖企业内部信息、合作伙伴信息和市场信息 覆盖综合信息和明细信息 覆盖当前数据和历史数据 高可用性 高质量的数据（一致性、完整性） 支持各种不同的分析方法 数据定义符合业务人员要求 OLTP数据库处理分析型应用存在的问题 数据可信性 数据没有统一时间基准 算法不同 多次抽取扩大了上述两个问题 外部数据问题 开始就不是同一个数据源 OLTP数据库处理分析型应用存在的问题 生产率 源数据获取 定位和分析数据 把数据加工成报告 完成报告需要很长时间，加之报告各不相同 OLTP数据库处理分析型应用存在的问题 不可能把数据转换成信息 数据不等于信息 涉及大量应用 没有足够历史数据 数据一致性问题（同名异义，异名同义等） 外部数据和非结构化问题 OLTP数据库处理分析型应用存在的问题 数据动态集成问题 OLTP中的数据只是某一个业务数据的集合 历史数据问题 OLTP中一般不包含历史数据 数据的综合问题 非细节数据，多种程度的综合 “蜘蛛网”问题 没有统一规划和设计 数据模型不一致 数据定义不一致 数据准确性差，冗余度高 业务流程发生变化 历史数据部统一、不规范 操作性环境和分析性环境 在操作型环境中支持分析应用太复杂、太困难 操作性环境不支持域（Domain）之间的联系，仅仅支持表之间的连接 不同的数据环境要求从数据组织（结构）和操作上进行工作 *