2014数据仓库入门.pptVIP

Data Warehouse overview 数据仓库管理的历史时期 人工管理方式：这一时期是在20世纪50年代中期以前，这一阶段的计算机应用主要用于科学计算，外存只有纸带、磁带、卡片等，数据处理的方式基本上是批处理。这一时期数据管理的特点是：数据不保存；没有专用的数据管理软件，每个应用都必须自己完成存储结构、存取方法、输入输入输出等数据管理功能；一组数据对应一个应用，这使得程序之间可能有重复的数据。 文件系统管理这一阶段在20世纪50年代后期至60年代中后期，计算机应用开始用于信息管理，由于数据存储、检索和维护等需求，使得相应的研究开展起来了，在硬件和软件方面都得到了发展，磁盘磁鼓出现，操作系统也产生。这一时期数据管理的特点主要是：：数据保存，数据可以长期保存在磁盘上；有操作系统的文件管理系统，文件结构化，数据的物理结构和逻辑结构有了区别；有了存储文件后，数据可以不再仅仅属于某一个应用，而能进行一定程度的复用。但文件系统在数据管理方面存在缺陷，表现在数据冗余度大，数据和程序之间缺乏独立性，容易造成数据的不一致性。 数据库系统（60年代末开始） 数据仓库的发展的动力 业务需求驱动 主要是详细的分析 科学的经营 市场活动的细化和实施等 数据驱动 数据量不断扩大 没有数据仓库等相关技术很难全面了解企业 项目驱动 数据仓库定义 Inmon的定义： DataWarehouse is a subject-oriented,integrated,time-variant, and nonvolatile collection of data in support of management’s decision making process 数据仓库的特点 数据仓库的数据是面向主题的 数据仓库的数据是集成的 数据仓库的数据是与时间相关的 数据仓库的数据是稳定的 简单的数据仓库架构 数据仓库实际应用例子 数据集成 企业全面的经营数据 OLTP分散在各个不同系统中（事件独立） 银行：卡、储蓄、信贷、会计、中间业务等等系统 BOSS＋增值业务＋财务 集成数据 建立关联 事件关联（业务之间是相互关联） 客户数据统一 历史数据 大量历史数据的保存问题 中国建设银行一个中等规模的省产生每天的交易详细记录大约200M 通常在业务系统中只保存当日数据 历史数据查询困难 数据仓库数据处理流程ETL简述 ETL定义 ETL:Extract-Transform-Load数据抽取（Extract）、转换（Transform）、装载（Load）的过程。ETL是BI/DW的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤 ETL应用过程 数据抽取 抽取主要是针对各个业务系统及不同网点的分散数据，充分理解数据定义后，规划需要的数据源及数据定义，制定可操作的数据源，制定增量抽取的定义。 (数据源和文件等多种形式) 数据传输数据传输是通过网络负责把远程的数据到本地目录下。ETL应用过程 数据的清洗和转换转换主要是针对数据仓库建立的模型，通过一系列的转换来实现将数据从业务模型 到分析模型，通过内建的库函数、自定义脚本或其他的扩展方式，实现了各种复杂的 转换，并且支持调试环境，清楚的监控数据转换的状态。数据转换是真正将源数据变为目标数据的关键环节，它包括数据格式转，换数据类型转换、数据汇总计算、数据拼接等等。清洗主要是针对系统的各个环节可能出现的数据二义性、重复、不完整、违反业务 规则等问题，允许通过试抽取，将有问题的纪录先剔除出来，根据实际情况调整相应 的清洗操作。 ETL应用过程 数据加载入库数据加载主要是将经过转换和清洗的数据加载到数据仓库里面，即入库，可以通过数据文件直接装载或直连数据库的方式来进行数据装载，可以充分体现高效性 ETL调度ETL的调度控制方式有两种：自动方式由系统每天定时或准实时启动后台程序，自动完成数据仓库ETL处理流程。手动方式用户可以通过前台监控平台，对单个目标或批量目标进行手工调度。ETL应用过程 监控主要是监控ETL的整个过程，通过扫描ETL各模块的日志中的关键值，如记录时间等信息与当前的状态作比较，如果超过某一个值，则认为该模块运行可能出现问提，应告警。 ETL工具框架 OLAP简述 OLAPOLTP(on-line transaction processing) 什么是OLAP 定义1 ：OLAP(联机分析处理)是针对特定问题的联机数据访问和分析。通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。 定义2 ：OLAP(联机分析处理) 是使分析人员、管理人员或执行人员能够