基于CWM的ETL元数据库系统模型的设计.docVIP

基于 CWM 的ETL 元数据库系统模型的设计静 1英 1欣 基于 CWM 的 ETL 元数据库系统模型的设计 静 1 英 1 欣 2 周 赵 杨 1 (四川大学公共管理学院 成都 610064 ) 2 (重庆农村商业银行 重庆 400020 ) 【摘要 】为预防和控制 ETL 中所存在的管理不善的问题 , 保证数据仓库高效的 ETL 实施 ,设计基于 CWM 元数据 标准的 ETL 元数据库系统模型 ,该模型能描述数据变换的具体步骤 , 并根据此模型设计系统 , 从而有效地实现 ETL 过程管理 。 【关键词 】CWM ETL 元数据 数据仓库 【分类号 】TP392 CWM - ba sed ETL M etada ta System M odel D esign 1 1 2 Zhou J ing Zhao Ying Yang X in 1 ( Pub lic A dm in istration Schoo l, Sichuan U n ive rsity, Chengdu 610064 , Ch ina) 2 ( Chongq ing R u ra l Comm erc ia l B ank, Chongq ing 400020 , Ch ina) 【A b stra c t】In o rder to p reven t and con tro l the existing m ism anagem en t p rob lem s in ETL , and en su re the effic ien t imp le2 m en ta tion of the data warehou se, the p ap er design s CWM - ba sed ETL m e tadata system mode l. Th is mode l can de scribe the sp ec ific step s of data tran sfo rm , and the sp ec ific modu le s are designed acco rd ing to th is mode l design system , thu s the p rocess of ETL m anagem en t can be ach ieved effec tive ly. 【Keyword s】CWM ETL M e tada ta D ata wa rehou se 1 引 言 在工业领域 ,数据仓库连同前端的数据挖掘工具向企业高层提供决策分析的平台体系机制被称为商业智能 (B u sine ss In te lligence, B I) 。B I项目的实施牵涉到企业各个事务处理系统之间海量数据的定向流动 , 这个数据流 动的过程被称为数据抽取 、转换与装载 ( Extrac tion、Tran sfo rm a tion and Load ing, ETL ) , 是 B I系统的心脏与灵魂 [ 1 ] 。 ETL 过程的管理目标与其数据质量是密切相关的 ,高效的 ETL 过程管理可以在一定程度上预防和控制 ETL 过程 中出现的数据异常 ,是保障 ETL 数据有效性的重要手段 。但是 ,在数据仓库实施中 , ETL 过程的多个业务逻辑交 流环节都是基于人 - 人交流模式的 ,或者是通过人 - 文档 - 人的形式进行信息传递 。这样的管理方式与数据仓 库 ETL 过程的实际运行情况及结果是脱节的 ,使得 ETL 任务维护繁杂 ,返工代价大 。鉴于此 ,本文提出基于公共 仓库元模型 ( Common W a rehou se M e tamode l, CWM )标准建立 ETL 元数据库 ,它能描述 ETL 过程业务逻辑及数据变 换细节 ,以此来实现人机交流 ,从而实现对 ETL 过程具体细节的管理及分析 。 2 相关研究综述 以 CWM和 ETL两 个 字 段为 关 键 字 , 在 CN K I数 据 库 里检 索 , 结 果得 到 6篇 文 章 , 年 代 主 要 分 布 在 2 0 0 5年 至 收稿日期 : 2010 - 11 - 22 收修改稿日期 : 2010 - 12 - 30 2010 年 。目前 , 2010 年 。目前 ,基于 CWM 的 ETL 过程管理研究主要 集中在以下几个方面 : ( 1 )业务变更 、高层汇总数据分析与实时业务结 合的纵深数据分析 、实时业务处理 ,快速定义并部署用 户的多维查询 ,实现基于数据仓库的联机分析处理 [ 2 ] 。 ( 2 )元数据的集成与管理 , 解决元数据管理混乱 问题 ,实现不同系统之间的元数据交