《数据仓库架构培训》.ppt

业务系统 数据存储平台 数据仓库应用平台 应用服务层 元数据访问服务 BI工具引擎 …… 报表 查询 决策支持 应用层 （Portal） … EDW DDS 对外接口 数据交换平台 数据挖掘 与分析系统 其它应用 元 数 据 管 理 OLAP ADS DM 数据仓库-案例2 历史数据存储（HDS） 操作数据存储（ODS） 主数据 ETL 数据 质量 管理 业务系统 数据存储平台 数据仓库应用平台 应用服务层 元数据访问服务 BI工具引擎 …… 报表 查询 决策支持 应用层 （Portal） … EDW DDS 对外接口 数据交换平台 数据挖掘 与分析系统 其它应用 元 数 据 管 理 OLAP ADS DM 数据仓库-案例3 历史数据存储（HDS） 操作数据存储（ODS） 主数据 ETL 数据 质量 管理 业务系统 数据存储平台 数据仓库应用平台 应用服务层 元数据访问服务 BI工具引擎 …… 报表 查询 决策支持 应用层 （Portal） … EDW DDS 对外接口 数据交换平台 数据挖掘 与分析系统 其它应用 元 数 据 管 理 OLAP ADS DM 数据仓库-案例4 历史数据存储（HDS） 操作数据存储（ODS） 主数据 ETL 数据 质量 管理 业务系统 数据存储平台 数据仓库应用平台 应用服务层 元数据访问服务 BI工具引擎 …… 报表 查询 决策支持 应用层 （Portal） … EDW DDS 对外接口 数据交换平台 数据挖掘 与分析系统 其它应用 元 数 据 管 理 OLAP ADS DM 数据仓库-案例5 历史数据存储（HDS） 操作数据存储（ODS） 主数据 ETL 数据 质量 管理 业务系统 数据存储平台 数据仓库应用平台 应用服务层 元数据访问服务 BI工具引擎 …… 报表 查询 决策支持 应用层 （Portal） … EDW DDS 对外接口 数据交换平台 数据挖掘 与分析系统 其它应用 元 数 据 管 理 OLAP ADS DM BI系统-案例6 历史数据存储（HDS） 操作数据存储（ODS） 主数据 ETL 数据 质量 管理 * * * * * * 数据仓库架构培训 厂商的数据仓库架构 IBM数据仓库架构 NCR数据仓库架构 SAP的数据仓库 两级数据仓库架构 公司的数据仓库架构 业务系统 数据存储平台 数据仓库应用平台 应用服务层 元数据访问服务 BI工具引擎 …… 报表 查询 决策支持 应用层 （Portal） … EDW DDS 对外接口 数据交换平台 数据挖掘 与分析系统 其它应用 元 数 据 管 理 OLAP ADS DM 系统总体架构图 历史数据存储（HDS） 操作数据存储（ODS） 主数据 ETL 数据 质量 管理 业务系统 数据存储平台 数据仓库应用平台 应用服务层 元数据访问服务 BI工具引擎 …… 报表 查询 决策支持 应用层 （Portal） … EDW DDS 对外接口 数据交换平台 数据挖掘 与分析系统 其它应用 元 数 据 管 理 OLAP ADS 公司实施常用架构 历史数据存储（HDS） DM ETL 数据 质量 管理 数据存储与ETL * 数据存储 主数据存储 模型特点 ER模型：与业务系统中代码信息存放方式类似 数据标准：在企业中采用统一的编码规则和标准 保留历史：保留主数据变化的版本 ODS数据存储 模型特点 ER模型：与业务系统中模型基本一致，尽量减少由于数据处理带来的时间消耗 实时性：保存实时变化的数据 EDW数据存储 模型特点 采用3NF方式建模，采用面向对象的建模方式 从业务模型入手，结合实际的业务系统的数据，使用主题域对数据进行抽象 建模原则 全面性：最终应该能够覆盖到客户经营活动中所有的业务数据 抽象性：从业务的角度把客户的所有业务要素抽象成若干对象，采用面向对象的设计方法 扩展性：其体系结构应该能够适应客户今后业务的发展 高效性：应该注意不要使对象之间的关系过于复杂，导致在实际查询时的速度过慢 DDS数据存储 模型特点 星型模型：以维度表和事实表的方式对数据进行组织和存放 面向需求：从满足应用需求的角度进行设计，从中找出维度，维和分析变量 粒度较粗：从明细数据汇总得到 数据抽取 数据加载 数据映射 数据转换 数据清洗 从HDS或ODS中获取所需数据 清除错误的、不符合业务逻辑的数据 将业务系统的数据字段对应到主数据的数据字段 将数据转换成主数据的模型 将转换完毕的数据写入物理数据库 数据标准化 按照数据的标准，对数据进行统一 主数据加载 数据抽取 数据加载 数据映射 数据转换 数据清洗 从HDS或ODS中获取所需数据