数据仓库的技术知识介绍.pptx

数据仓库技术介绍;内容提要;面临的问题;企业面临的问题;数据爆炸问题;面临的挑战;;宝钢的现状及需求;宝钢追求的目标;宝钢股份的质量方针;市场需求是技术发展的源动力;内容提要;在早期，业务人员考虑如何实现自动化 …..; 在数据库应用的早期，计算机系统所处理的是从无到有 的问题，是传统手工业务自动化的问题。例如银行的储蓄系统、 电信的计费系统，它们都属于典型的联机事务处理系统。;; ;;;;;;; 应用在不断地进步，当联机事务处理系统应用到一定阶段的时候，企业家们便发现单??拥有联机事务处理系统已经不足以获得市场竞争的优势；他们需要对其自身业务的运作以及整个市场相关行业的态势进行分析，从而做出有利的决策。; 决策需要对大量的业务数据包括历史业务数据进行分析才能得到，而这种基于业务数据的决策分析，我们把它称之为联机分析处理。如果说传统联机事务处理强调的是更新数据库——向数据库中添加信息，那么联机分析处理就是要从数据库中获取信息、利用信息。; “我们花了20多年的时间将数据放入数据库，如今是该将它们拿出来的时候了。” ----著名的数据仓库专家Ralph Kimball ;; 第一，所有联机事务处理强调的是数据更新处理性能和系统的可靠性，并不关心信息查询的方便与快捷；联机分析和事务处理对系统的要求不同，同一个数据库在理论上难以做到两全；;第二，业务数据往往被存放于分散的异构环境中，不易统一查询访问，而且还有大量的历史数据处于脱机状态，形同虚设； ;第三，业务数据的模式是针对事务处理系统而设计的，数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计。 ; 针对这一问题，人们专门为业务的统计分析建立一个数据中心，它的数据可以从联机的事务处理系统、异构的外部数据源、脱机的历史业务数据中得到；它是一个联机的系统，专门为分析统计和决策支持应用服务，通过它可满足决策支持和联机分析应用所要求的一切。这个数据中心就叫作数据仓库。 ; 数据仓库是一个作为决策支持系统和联机分析应用数据源的结构化数据环境。 ; ; ; ;业务系统;数据仓库的定义;数据仓库的四个基本特征;数据仓库的体系结构;数据的抽取（1）;数据的抽取（2）;存储和管理;信息探索;;;;如果数据质量不能被信任，则数据仓库将失去价值，数据管理是一个循环往复的过程，包括四个基本功能： 定义 量度标准 报告 改善; ODS 用于集成相关应用系统并且为决策支持 系统提供数据基础 ;;借助探索仓库 - - 可以极大的降低探索的成本 - 极大地提高探索速度 - 探索的能力呈指数级增长;什么是企业数据仓库 ?;企业数据仓库的另一种定义;;- 分粒度的数据 - 公司的公共数据 - 长期历史数据 - 决策的基础 - 大的存储量 - 轻度索引 - 允许以多种方式浏览数据 ;;采用正确的方法论;;快速数据仓库方法的重点;快速数据仓库方法的重点（续）;企业数据仓库的前景和目标 数据仓库成功的因素 (如果可能算出 ROI) 业务过程和业务驱动 IT 的基础架构 (当前和未来) 用户需求分析（数据需求、信息需求、报表和分析需求、探索需求以及信息供给需求）;数据仓库规模和增长性 宏观的企业数据仓库的物理和逻辑模型 主题区域和实施优先级 具体实施方案 任务和责任 首先实施的主题以及它的项目计划 ;设计阶段: 维数据模型;物理仓库数据模型可以利用 范式模型 汇总表 预先合并的视图和表 星型模式 雪花模式 星型--雪花模式 多维数据模型(MDDBs) 非结构化的数据/文档 上述各种模型的混合使用;企业数据仓库 范式化的E-R模型 雪花及星型--雪花模式 汇总表 预先合并的视图 部门数据仓库/数据集市 汇总表 预先合并的视图和表 多维数据仓库（MDDBs） 星型模式 雪花及星型--雪花模式;为什么大多数数据仓库项目会失败？;1、搭建面向主题的信息架构； 2、综合统计报表、信息查询； 3、常规数据分析（成本、财务、市场、销售、…），联机分析处理，多维信息查询； 4、决策支持系统、专家系统、…; 5、质量改善，SPC; 6、关系管理（客户、供应商、访问者、…) 7、数据挖掘、知识发现； 8、…... ;1、及时获取生产管理综合信息，为决策者提供科学分析依据； 2、改善管理能力，可以得到凭直觉无法得到的结论； 3、对转瞬即逝的机会快速作出反应，提高竞争能力； 4、既能够管理宏观信息也能够管理微观数据，可以追朔历史； ;5、建立企业内部各部门之间的合作关系。 6、提供了面向主题的信息架构，存取数据 方便，业务用户也能方便的取用这些数据。 7、开拓了进一步探索和研究的广阔空间 数据仓库支持进一步的探究，以发现数据所形成的趋势