BI技术介绍概述.pptVIP

* BI系统数据ETL处理流程说明 业务系统 接口层(DI) 仓库层(DW) 融合层(DB) 一级集市 多维表(OM\DM) 固定表(TM\TD) CUBE 前端展现 应用层(DA) 示例 * 目 录 数据仓库 OLAP ETL与数据质量 * 数据质量—产生原因 部分数据入口不唯一 部分数据来源并不唯一可信 存在一定量的脏数据 各系统中数据对应规则不统一 不同系统间数据不一致 不同系统相同业务规则不统一 业务的多样性＋管理的灵活性＝数据的多样性。 * ETL过程中的数据质量放大效应 * 建立完善的数据管控制度 合理的组织架构 有效的管理流程 完善的考核机制 清晰的数据质量要求 细致全面的业务规则定义 质量管控五个重点 可信的数据，才能产生可信的结果。 90%×90%×90%×90%×90%=59% * 建立完善的数据稽核方法 对于ETL过程中产生的质量问题，必须有技术核查保障手段 * 数据稽核工作日常化 * QA * * * * ROLAP将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。不必要将每一个SQL查询都作为实视图保存，只定义那些应用频率比较高、计算工作量比较大的查询作为实视图。对每个针对OLAP服务器的查询，优先利用已经计算好的实视图来生成查询结果以提高查询效率。同时用作ROLAP存储器的RDBMS也针对OLAP作相