bi_数据仓库基础.docVIP

1 BI Business Intelligence，即商业智能，商务智能综合企业所有沉淀下来的信息，用科学的分析方法，为企业领导提供科学决策信息的过程。 BOSS业务运营支撑系 BPM企业绩效管理 BPR业务流程重整 CRM客户关系管理 CUBE立方体 DM（Datamart）数据集市 数据仓库的子集，它含有较少的主题域且历史时间更短数据量更少，一般只能为某个局部范围内的管理人员服务，因此也称之为部门级数据仓库。 DM（DataMine）数据挖掘 DSS决策支持系统 EDM企业数据模型 3 ERP Enterprise Resourse Planning企业资源规划。它是一个以管理会计为核心的信息系统， 识别和规划企业资源，从而获取客户订单，完成加工和交付，最后得到客户付款。换言 之，ERP将企业内部所有资源整合在一起，对八个采购、生产、成本、库存、分销、运输、 财务、人力资源进行规划，从而达到最佳资源组合，取得最佳效益。 4 ETL 数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过 程。构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终 按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。 KDD数据库中知识发现 5 KPI 企业关键业绩指标(KPI：KeyProcessIndication)是通过对组织内部流程的输入端、输出 端的关键参数进行设置、取样、计算、分析，衡量流程绩效的一种目标式量化管理指标， 是把企业的战略目标分解为可操作的工作目标的工具，是企业绩效管理的基础。 LDM逻辑数据模型 6 MDD 多维数据库（Multi Dimesional Database,MDD）可以简单地理解为：将数据存放在一 个n维数组中，而不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵， 人们可以通过多维视图来观察数据。多维数据库增加了一个时间维，与关系数据库相比， 它的优势在于可以提高数据处理速度，加快反应时间，提高查询效率。 Metadata(元数据)，它是“关于数据的数据，其内容主要包括数据仓库的数据字典、数据的定义、数据的抽取规则、数据的转换规则、数据加载频率等信息。 MOLAP自行建立了多维数据库，来存放联机分析系统数据 7 ODS（四个特点） (Oprational Data Store)操作型数据存储，是建立在数据准备区和数据仓库之间的一个部件。用来满足企业集成的、综合的操作型处理需要，操作数据存储是个可选的部件。对于一些准实时的业务数据库当中的数据的暂时存储，支持一些同时关连到历史数据与实时数据分析的数据暂时存储区域。 8 什么是数据集市DM 数据集市可以看作是数据仓库的一个子集，它含有较少的主题域且历史时间更短数据量更少，一般只能为某个局部范围内的管理人员服务，因此也称之为部门级数据仓库。 二 数据仓库 DW Datawarehouse，数据仓库是一个集合或过程，4要素面向主题，集成，时间相关（反映历史变化）， （稳定）不可修改的数据集合。 数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。与其他数据库应用不同的是，数据仓库更像一种过程，对分布在企业内部各处的业务数据的整合、加工和分析的过程。 特点 传统操作型数据库 数据仓库 面向主题 菜市场 按功能来分类 每一个模块就如一个小摊位，萝卜，青菜都有 超市 按类型分类 如都为利润的分为一个事实表 事实表和维表的分类 集成的 与特定的应用相关，数据库之间独立的 有联系，ETL的过程已经是将多个数据库联系统一，去除之间的不一致性。 相对稳定 通常实时更新，数据根据需要及时发生变化 供企业决策分析之用，数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常定期的加载、刷新。 反映历史变化 主要关心当前某一个时间段内的数据 包含历史信息，系统记录了企业从过去某一时点 下图是一个典型的企业数据仓库系统，通常包含数据源、数据存储与管理、数据的访问三个部分： 最为重要的一张图 这张图可以看出四个特点中，面向对象，集成， 数据源：是指企业操作型数据库中的各种生产运营数据 即OLIP 数据的存储与管理：数据仓库的存储主要由元数据的存储及数据的存储两部分组 成。元数据是关于数据的数据，其内容主要包括数据仓库的数据字典、数据的定义、数 据的抽取规则、数据的转换规则、数据加载频率等信息。各操作数据库中的数据按照元 数据库中定义的规则，经过抽取、清理、转换、集成，按照主题重新组织，依照相应的 存储结构进行存储 数据的访问：由OLAP(联机分析处理)、数据挖掘、统计报表、即席查询