数据仓库中ETL和Metadata.pptVIP

ETL/元数据配合整体的建设策略 从简单元数据管理做起，规范ETL设计 项目必须分阶段依据元数据冻结需求 让业务人员尽早的使用元数据 小心数据质量的元数据，提供校验点 设计企业模型的同时，搭建数据集市 MSN Email: tommychang77@ Mobile: 多谢 学习动物精神 11、机智应变的猴子：工作的流程有时往往是一成不变的，新人的优势在于不了解既有的做法，而能创造出新的创意与点子。一味 地接受工作的交付， 只能学到工作方法 的皮毛，能思考应 变的人，才会学到 方法的精髓。 学习动物精神 12、善解人意的海豚：常常问自己：我是主管该怎么办才能有助于更好的处理事情的方法。在工作上善解人意， 会减轻主管、共 事者的负担，也 让你更具人缘。 数据仓库中的ETL和Metadata 数据仓库简介 元数据的实际问题 元数据与维护数据仓库 数据仓库简介 数据仓库是…… 数据仓库是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程 W.H.Inmon 元数据组成 (Meta data) 业务系统到数据仓库 数据仓库 数据展现工具 ETL Target Database Front-End Tool 数据采集 数据传输 数据转换 数据清洗 数据加载 数据汇总 数据模型 人事 销售 库存 财务 RDBMS ODS/Staging Area RDBMS 数据仓库 数据集市 企业经营 分析 客户关系 管理 业务流程 分析 财务分析 Metadata 外部系统 Statistics Clustering Neural Nets Artificial Intelligence 业务 股东 管理 OLAP “维” Keys 属性 Facts 地点 Table 时间 Table 产品 Table 客户 Table Many Records... 数据仓库不是…… 某种具体的产品 简单的数据物理集中 只能输入而不能输出的仓库 报表中心 可以一期到位的工程 业务分析专家的替代品 …… 术语解释 ETL（Extract/Transform/Loading）是数据从业务系统抽取转化到数据仓库的过程 Metadata可以理解成Data about data，关于数据的数据 术语解释 OLAP（On-Line Analytical Processing）面向分析的在线处理 OLTP（On-Line Transactional Processing）面向交易的在线处理 术语解释 数据集市则是范围较小，面对单一主题或部门，同样是为了查询、报表、分析等目的进行优化 ODS（Operational Data Store）通常作为混合性可操作数据源 Staging Area是数据处理区域，为了实现ETL过程的临时存储 数据挖掘是通过一些数学方法对数据进行深层次的分析从而发现其规律 前端开发 ETL开发 需求/建模 数据仓库项目三部曲 元数据的实际问题 仓库过程 仓库操作 转换 XML 记录型 多维 关系型 业务信息 软件发布 UML 1.3 对象 OLAP 数据 挖掘 信息可视化 业务术语 数据 类型 表达式 键 索引 类型映射 管理 资源 分析 基础 对象模型 举例：CWM模型 数据仓库的整合性是基于元数据的统一 ETL是数据仓库从业务系统获得数据的必经之路，元数据则是地图 建立可维护的数据仓库依赖很多因素，ETL/Metadata是非常重的两大块 Customer CustomerNumber Name Address Comments 建模工具 CustomerTbl CustomerID Name Address Address1 Comments ETL工具 CustomerDetails CustomerNumber Name Address Remarks 前端工具 Customer ID Name Address1 Address2 Descr 数据仓库 客户标记，加前缀进行区分对公和对私客户 客户标记， 01打头表示对公客户，02打头表示对私客户 无描述 客户标记，01打头表示对公客户