ETL关键技术研析.pdfVIP

摘要 构建数据仓库和数据集成应用都需要使用ETL工具，要求ETL工具能支持多种数据转 换源和目标、软件易于部署和使用以及转换手段多样化。市场上现有的ETL工具都不能完 全满足数据仓库和数据集成要求。 本文结合对自行研制的ETL工具——sEuETL的改进和技术预研，研究了ETL工具 实现的关键技术。针对SEUETL工具的不足，我们使用了CWM来描述ETL过程。构建 了统一数据模型描述物理数据源对应的数据存储模型，屏蔽不同数据模型中描述的差异；构 建了转换元模型来描述ETL转换的逻辑过程，屏蔽ETL转换具体实现的差异；构建了运行 调度元模型，描述ETL过程的运行实现，屏蔽不同软件部署方式的差异。在元数据管理中， 引入了动态属性概念，提高了ETL过程设计的灵活性和设计效率，较好的解决了遗留系统 的业务数据处理。在ETL转换中引入了脚本转换，并对SQL进行了扩展以适合ETL的需 要，实现了对uDF的支持，增加了可使用的转换手段。实现了和数据转换相融合的数据清 洗框架，定义的数据清洗规则可以自动执行。对ETL过程的运行调度作了一定研究，实现 了ETL转换的粒度控制。 通过这些改进，SEUETL已经能够满足构建数据仓库和数据集成的要求，实现现有的 转换类型，并为用户提供了一个友好的设计．调试界面。 关键字：ETL、数据转换、元数据、元模型、数据清洗 IV Abstract ofDataWarehouseandDa：ta allneedtouseETL Implementation Integration t001．Abili田of multifo咖dataconVersionsourceand soRware’s and suppOrt target，easiIy deploymentuSage， of areall ETL ETLtoOl transfomation，these Various印proach VeD，importanttot001．ExiSting andData onthemarket． can、satis矽Da组WarehouseInte铲ation印plicationcompletely Intllis researchthe ofETLtoOl on the p印er，we keytechnique realization，baSe improVemem andreseal．chinadVanceofourETL atthe of tool——SEUr_ETL．AimshortageSEU—ETL，we usedCWMtodescribethe ofETL．、№constructUnif-omDataModeltodecc曲e process dataaccessmodelof data shieldthedif诧renceof 109ical source， con．esponding physics the in dif．ferentdata metatransfornlationmo