《商业分析概论》商业数据分析环境的搭建.pptxVIP

商业分析概论 商业数据分析环境的搭建 目录数据仓库的数据组织数据仓库设计步骤数据集市及其应用商业信息仓储设计 5.1 数据仓库的数据组织数据综合3 5.1 数据仓库的数据组织数据分割数据分割是指将数据分割到各自的物理单元以便能够独立处理，提高数据处理效率。数据分割后的数据单元称为分片，分片数据没有交叉。提高数据仓库性能的重要手段它将逻辑上是统一整体的数据分割成较小的、可以独立管理的物理单元进行存储。数据分割要考虑以下要素：数据量、数据分析处理的要求、简洁性以及粒度划分策略等。数据粒度是通过数据汇总减少数据量，但是无法解决统一粒度下由于过大导致的数据查询效率较低的问题。4 5.1 数据仓库中的数据组织数据分割提高查询速度将数据库分区可提高其性能并易于维护。如果将大型表拆分为多个较小的表，则只访问部分数据的查询可以更快地运行，因为要扫描的数据变得更少。维护任务（例如，重新生成索引或备份表）也可以更快地运行。便于数据重组将数据按照一定的规则进行新的组合，例如将电信业务话单表分割成每月一张，用户能够按照一定的规则将月份分成几组，这样当查询某个组的数据时只要扫描族中月份对应的表，数据量相对较小。便于表维护通过数据分割，降低单表的数据量，减轻数据维护的工作量。增加系统并行性增加数据抽取和查询的并行性。5 5.1 数据仓库中的数据组织分割时需要注意的问题数据分割尽量均匀选择数据分割的标准应尽量保证数据在各个分片中的分布较均匀。水平分割、垂直分割。用户的查询需要选择分割标准时应考虑用户的查询需求，以便将用户的大部分查询在一个分片内完成，达到提高系统性能的目的。如按照用户的所属地进行分割，因此，分割一般按照某个维度的层次进行，常用的维度有时间、地域和产品等。6 5.1 数据仓库的数据组织数据组织形式简单直接文件连续文件定期综合文件7 5.2 数据仓库设计总体设计分析（1）确定研究内容（2）研究主题（3）技术环境准备一般情况下，需要在这一步里确定的性能指标包括：·管理大数据量数据的能力； 进行灵活数据存取的能力； 根据数据模型重组数据的能力； 透明的数据发送和接收能力； 周期性成批装载数据的能力； 可设定完成时间的作业管理能力。8 5.1 数据仓库设计（3）技术环境准备预期在数据仓库上分析处理的数据量有多大? 如何减少或减轻竞争性存取程序的冲突? 数据仓库的数据量有多大? 进出数据仓库的数据通信量有多大?软、硬件配置有：直接存取设备； 网络； 管理直接存取设备的操作系统； 进出数据仓库的界面(主要是数据查询和分析工具)；9 5.2 数据仓库设计总体设计分析10数据仓库业务需求概念数据模型逻辑数据模型物理数据模型部署数据仓库数据仓库模型 5.2 数据仓库设计数据仓库的设计就是在概念模型、逻辑模型和物理模型的依次转换过程中实现的。作为数据仓库的灵魂——元数据模型则自始至终伴随着数据仓库的开发、实施与使用。数据粒度和聚集模型也在数据仓库的创建中发挥着指导的作用，指导着数据仓库的具体实现。企业模型概念模型逻辑模型物理模型数据仓库元数据模型数据粒度和聚集模型11 5.2 数据仓库设计1. 概念模型设计描述了从客观世界到主观认识的映射确定数据仓库的主题，主要是依据建立的企业模型确定数据仓库的各个主题，主题来源于企业模型中的实体，确定主题后，按照主题将企业模型划分成不同的部分，将这种划分映射到相应的数据库模型，作为逻辑模型设计的基础步骤：确定主题划定主题边界12 5.2 数据仓库设计数据仓库概念模型的设计，首先对现有数据库系统进行分析和理解，了解现有数据库系统中有什么、怎样组织以及如何分布，然后考虑建立数据仓库系统的概念模型。概念模型设计是在较高抽象层次上的设计，因此概念模型设计时不用考虑具体技术的限制。概念模型，主要包含以下几个部分：抽取关键业务概念，并将之抽象化。将业务概念分组，按照业务主线聚合类似的分组概念。细化分组概念，理清分组概念内的业务流程并抽象化。理清分组概念之间的关联，形成完整的领域概念模型。13 5.2 数据仓库设计(1) 概念模型设计数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合，所以数据仓库的概念模型设计，首先要对原有数据库系统加以分析理解，看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等，然后再来考虑应当如何建立数据仓库系统的概念模型。采用E-R模型和面向对象的分析方法。14 5.2 数据仓库设计(2) 逻辑模型设计按照企业的业务规则和流程将各种数据有机地集成在一个完整的逻辑数据模型中在这一步里进行的工作主要有：分析主题域，确定当前要装载的主题； 确定粒度层次划分； 确定数据分割策略； 关系模式定义； 记录系统定义逻辑模型设计的成果是，对每个当前要装载的主题的逻辑实现进行定义，并将相关内容记录