客户关系课件（王林）第9章__数据仓库.pptVIP

数据仓库-雪花模型 数据仓库-雪花模型 雪花模型的优点是：通过最大限度的减少数据存储量以及联合较小的维表来改善查询性能。 雪花模型增加了用户必须处理的表数量，增加了某些查询的复杂性，但这种方式可以使系统进一步专业化和实用化，同时降低了系统的通用程度。 二、数据预处理 数据预处理是数据仓库设计工程中非常重要的过程，它由三个主要步骤组成：抽取（Extraction）、转换(Transformation)、加载(Load)，简称ETL。 抽取过程将会暴露源系统中数据的质量问题。由于数据的质量严重影响着数据仓库的可信程度，因此在数据预处理过程中，需要提高数据质量，让数据仓库使用真正有效的数据。 目前有很多工具可以帮助用户完成数据抽取、转换和装载工作，但是还有相当一部分工作是要手工编程来完成的。 三、数据维护 数据仓库规模一般都很大，从建立之初就要保证它的可管理性，一个企业可能建立几个数据仓库或数据集市，但他们可共用一个元数据库对其进行管理。 首先从元数据库查询所需元数据，然后进行数据仓库更新作业，更新结束后，将更新情况记录于元数据库中。当数据源的运行环境、结构及目标数据的维护计划发生变化时，需要修改元数据。元数据是数据仓库的重要组成部分，元数据的质量决定整个数据仓库的质量。 数 据 质 量 评 估 企业EDA逻辑架构 数据展现 源系统元数据评估 元 数 据 元数据管理 源系统元数据 数据仓库元数据 元 数 据 源系统数据评估 数据仓库元数据评估 加载 抽取 清洗 转换 数据抽取体系（ETL） 安全控制 生产数据库 ODS EMS 计量 系统 客服 系统 财务 系统 营销 系统 数据仓库 持 续 评 估 统计报表 OLAP分析 数据挖掘 9.3.4 技术线 技术线的实施分为技术选择和产品选择两个步骤。如何采用合理有效的技术是实现一个好的数据仓库系统的基本条件。 在数据仓库建立的过程中会遇到一些新的特定的问题，如管理大量数据的需求，如何对数据进行快速和方便的访问等。为解决这些问题人们采用了新的技术。 技术体系选择必须从为这些技术建立全局的结构框架和视角出发，选择中需要同时考虑三个因素：商业需求、当前的技术环境、计划的策略技术方向。 技术体系确定以后需要选择实现数据仓库应用的各种产品，包括硬件平台、ETL工具、OLAP服务器、数据展现工具等，并进行产品的安装和测试。现在市场上的数据仓库产品有很多，数据仓库厂商通常都提出了自己的一系列解决方案，限于篇幅，在这里不再展开，而主要着眼于数据仓库实现的一些关键技术，以便对数据仓库的建立有更深层的理解。 9.3.5 应用线 应用线的实施分为应用设计和应用开发两个步骤。 数据仓库的建立是为满足用户的不同查询需求服务的，用户的需求可能是只访问一些预定义的查询、生成报表等简单操作，也可能是自己定义复杂的查询，直接分析数据仓库中存放的各种数据。因此，需要设计合适的应用工具，为不同的用户提供友好的用户界面。 应用设计和开发的一个有效办法是针对不同的用户需求，设计和实现标准的用户应用模板，提供给用户高效的接入方式。 应用设计的任务是设计标准的用户应用模板。应用设计的过程一般包括：确定初始的模板集、设计模板的标准、设计详细模板、最后通过用户反馈进行改进。应用开发是通过应用设计说明书，按照标准的软件开发流程，实现模板的设计。应用开发的一般过程是选择实现的方法，然后进行模板的实现、测试和数据验证，最后是应用模板的维护。 应用是数据仓库建立的最终目的，对于应用提出的要求，数据仓库建立过程中是必须加以充分考虑的。 9.4 CRM数据仓库设计示例 9.4.1 SQL Server 2000数据仓库简介 9.4.2 概念模型设计 9.4.3 数据仓库创建 一、新建目的数据库 二、DTS创建数据源和目的数据库 三、转移事实表 四、转移维表 五、执行包并设置完整型约束 9.5 CRM数据仓库使用示例 9.5.1 创建OLAP数据库 9.5.2 利用多维数据集创建向导创建多维数据集 一、选择事实表 二、创建纬度 9.5.3 存储和处理多维数据集数据 9.5.4 浏览多维数据集数据 国网数据中心结构 O_x：数据横向移动 V_x：数据纵向移动 数据中心-执行架构 单点登录： 1、数据中心报表系统; 2、领导查询系统； 3、综合查询系统；（在建） 界面集成： 1、重要指标集成 2、关键指标 国网公司数据中心平台 硬件平台逻辑架构 图5－1 存储池 ETL 服务器 Miner服务器 应用服务器 数据仓库服务器 Web服务器 存储池 数据中心硬件逻辑架构 存储池 EMS 计量系统 其它数据来源 数据存储服务器(ODS) 客户端（C/S） 客户端（B/S） 客户端（