基于cwm的数据仓库体系结构设计.ppt

提纲 背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计 基于CWM的数据仓库体系结构 数据源 OLTP数据库 遗留数据 内部办公系统数据 外部数据 数据源 多种类型：关系型、多维、 记录、XML以及其它一些工具类型 关系型：模式，物理表， 视图，字段，索引，触发器，外关键字 ，主关键字 ，数据类型，字段值，数据记录，记录的集合 Relational元模型 Relational元模型（续1） Relational元模型（续2） 关系型数据源的主要接口 BaseTable：查询和修改表的属性、触发器和结构 Catalog：查询和修改包含的元素 Column：查询和设置属性 Row：查询和修改一条记录的内容 RowSet：查询和修改包含的记录 ETL 读取数据 清洁数据 转换数据 装载数据 ETL组件的接口 黑盒变换：Transformation ，DataObjectSet ，TransformationUse 白盒变换：FeatureMap ，ClassifierMap ，ClassifierFeatureMap ，TransformationMap 变换的执行顺序控制：TransformationTask ，TransformationStep ，TransformationActivity ，StepPrecedence ，PrecedenceConstraint 中央数据仓库 数据粒度最细且多层次 数据是历史的 数据是时间相关的 大数据量 数据是整合的 通用的、全局的 操作数据存储ODS 操作型系统 O D S 1/2 1/2 企 业 数据仓库 数据集市 企 业 数 据 仓 库 最细粒度 数据集市 部门2 粒度2 数据集市 部门1 粒度1 部门3 粒度3 外 部 数据源 数据集市 * 我的论文题目是。。。 论文的内容主要是总结了我以下两个部分的工作 * 第一是基于OMG的CWM规范，提出了一个通用的、可集成的、可扩展的数据仓库体系结构，希望能够解决不同工具之间的数据交换问题，为企业搭建统一且易于扩展的数据仓库平台提供参考 第二是参与设计和实现了一个基于该体系结构的电信企业数据仓库系统，也就是联通总部综合业务信息服务平台。 * 这次报告主要包括以下几个部分： 首先对本论文的背景作简要的说明 然后在第二和第三部分介绍了相关的理论基础，包括：数据仓库、元数据理论，和OMG的几个相关规范。 第四部分给出了一个基于CWM的数据仓库体系结构，并详细介绍了体系结构中各个组件的功能和接口。 最后简要介绍了一个基于该体系结构的电信企业数据仓库系统。 * 现在对本论文的背景作一个简要的介绍， 现有数据仓库的建设一般采用单一的产品，但是每个产品都有自己的优点和缺点，对于大型的商业应用，可能需要综合使用多种工具。而现有的数据仓库工具都采用自己 的格式表示数据和元数据，所以很难进行交换。 在这种背景下，本论文提出了一种具有标准的CWM接口的数据仓库体系结构。 * 定义：面向主题的、集成的、不可更新的、随时间变化的数据集合 主题：是在较高层次上对数据进行综合、归类并分析的抽象。面向主题的数据组织方式就是 统一地刻画各个分析对象所涉及到的各项数据，以及数据之间的关系。 模型：概念模型、逻辑模型和物理模型 建设：自底向上、自顶向下 应用：OLAP和数据挖掘 国内建设的问题：原有数据库系统设计混乱、资料积累不足、行政支持不够 * 管理、使用：当系统数据量越来越大时，使用数据的效率会降低，借助于元数据，可以帮助用户更有效地管理和使用数据。 系统分布、互通：也就是交换数据的要求。利用元数据可以实现异质系统之间数据的交换，这一点正是本论文设计的基础。 元数据重用、综合的要求：目前很少有单一工具能够满足大型商业应用的需求，用户常常需要使用多种工具的组合，这样就必须实现它们各自元数据的共享。 * 目前，关于元数据的研究主要集中在元数据的建模上，元数据的建模主要有两大方向： 元数据参考模型：也就是提供一个连续的整体框架，为整个系统划定实现的层次结构 元数据模型：也就是元数据参考模型中的具体选定的一层。比如CWM就是这样的一个规范。 元数据的规范从内容上大致可以分为两类：元数据建模和元数据交换。 目前主要有两个组织制定了相关的规范，一个是OMG，它采用的规范包括MOF，UML和CWM， 这些规范形成了元数据定义和交换的基础。 另外一个组织是MDC，它做的主要工作是开发了MDIS，并完成了基于微软的OIM的MDC-OIM 的技术评审。 为了推动元数据标准化的发展，OMG和MD