第3章 数据仓库.pptx

商业智能：方法与应用第3章 数据仓库温浩宇 西安电子科技大学出版社3.1 数据仓库相关概念目 录数据仓库的定义及特点数据集市、元数据管理和数据质量管理C数据仓库的体系结构3.2 数据仓库设计ONTENTS概念模型设计逻辑模型设计物理模型设计3.3 ETL的过程设计数据抽取设计数据清洗设计数据加载设计3.1 数据仓库相关概念数据集市、元数据管理和数据质量管理数据仓库的体系结构数据仓库的定义及特点3.1.1 数据仓库的定义及特点两大类 数据处理系统＆分析型操作型应 运 而 生a.操作型处理：即联机事务处理，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改，是数据库中最基础的操作。缺点：只是针对企业日常的事务进行处理，而并不具备对存储数据进行分析的功能，更无法向用户提供决策支持。因此，另一类数据处理系统——分析型处理则针对操作型处理系统的短板应运而生。3.1.1 数据仓库的定义及特点两大类 数据处理系统＆分析型操作型应 运 而 生b.分析型处理：主要功能是综合某些主题的历史数据进行多维度、全面的分析，用以支持管理决策。优点：包含操作型处理的基础功能，并能够针对主题性的数据进行分析，通过将历史数据进行整合体现数据的完整性；同时在数据的抽取过程中能够保证数据的准确性，十分契合企业以及用户对数据分析的需要。3.1.1 数据仓库的定义及特点操作型处理分析型处理性 能需对用户的查询、修改等指令进行及时反应，在企业日常事务较多时，需进行频繁的数据处理，并在短时间内展示处理结果，要求其系统性能较高。不涉及日常频繁的事务处理，因此在系统性能上并不需要即时反馈的高性能处理。集 成 性仅限于日常事务的数据操作，其数据源也只限于企业日常的数据，通常不需要跨部门、跨系统的数据集成。将各类数据进行整合以达到数据的全面分析，相应的数据抽取、清洗、加载过程技术保证了分析型处理系统具备较好的数据集成性，能够将长期的、不同的数据进行集成分析。数 据 冗 余需频繁响应用户的操作，所以在数据存储中数据保持着很高的实时性，即用户频繁的查询、修改使得数据更新频繁，因此要求数据符合关系型数据库范式要求，并且数据冗余要少。需将长期的历史数据进行存储以供查询、分析、决策，但历史数据几乎不会修改，因此可以具有一定的数据冗余以提高查询效率。3.1.1 数据仓库的定义及特点适合使用数据库技术来实现针对企业日常事务进行一些重复、频繁的操作，通常设计目标是大量的数据维护和较为简单的查询统计功能。操作型系统数据库在从数据的集成到用户决策的制定过程中涉及的功能较多，因此数据综合性较高，传统的数据库技术并不完全满足这种技术要求。适合使用数据仓库技术来实现主要区别分析型系统数据仓库作为数据库的一个分支，数据仓库在一定程度上相比于数据库针对数据信息的分析处理以及决策有更好的适用性，从数据库到数据仓库的细化，也是对数据获取并正确合理分析的必然要求。3.1.1 数据仓库的定义及特点特点定义数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，并应用于支持管理决策。通过对数据分析本质作用面向主题：指数据仓库内的信息是按主题进行组织的，而不是像业务支撑系统那样是按照业务功能进行组织的。“集成”：指数据仓库中的数据是来源于不同结构的数据源，从不同的数据源中进行数据的抽取，经过一系列加工后最终加载到数据仓库中。数据“历史”：指某个数据进入数据仓库以后，一般情况下将被长期存储，在较长的时间段内不进行改动数据的操作，即数据仓库内的信息并不仅仅反映企业当前的状态，而且记录了从过去某一时点到当前各个阶段的信息，能够随时反映历史数据信息。3.1.1 数据仓库的定义及特点■效率高数据仓库对数据分析的粒度非常细化，因此对分析效率的要求也随之增加。由于企业的数据量往往是庞大的，用户希望得到及时的分析结果，如果数据仓库效率不达标，分析结果出现延迟，这对于企业来说影响是非常大的，所以数据仓库要求效率一定要足够高。01数据仓库的特点■数据准确可靠02数据仓库在抽取数据时，由于数据源存在异构、数据正确性、完整性等问题，数据的准确与否会直接影响到决策的质量。因此，在进入数据仓库前需要经过一系列的数据加工，即数据抽取、清洗、载入。■扩展性高03数据仓库体系结构一般设计得较为复杂，这是因为企业数据的存储、获取以及分析是一个长期持续存在的需求，数据仓库应该保持相应的稳定运行以及在该时间段内能够实现功能拓展的目标，避免因重建数据仓库而带来的影响。3.1.2 数据集市、元数据管理和数据质量管理数据集市指数据源经过相应的处理后进入到数据仓库，按照特定的要求形成的具有主题性的数据集合。元数据也叫做解释数据、数据字典，即是用来描述数据的数据。数据质量管理从数据的获取、存储、维护、应用等阶段对可能产生的数据质