开题报告面向ETL过程的数据质量控制框架设计与实现.docxVIP

硕士生：刘闵 导师：叶丹 软件工程技术中心 2009 2?24 内家提纲 ?:?选题依据及意义 ?国内外研克现状 弘研克內彖与研克方案 *工作进畏与工作计划 ?:?参考丈献 ? ETL (Extract, Transform, Load) ETL完成路操作糸统、蹲教据源的数据抽取，并将教据经过一定的转换操 作，最终加我到目的端数据源，是数据集成，数据交换糸统的重要组 成部分。 OnceD12.0就是典型的ETL工具。 ■任务往往具有事务特点■增量数据具有不可重复性 ■任务往往具有事务特点 ■增量数据具有不可重复性 要求ETL尽可能的 能一次性地成功执 但低劣的数据质量往往导致ETL的央败 ? ETL中存在的数据质量问题 模式层1■卖例层!模式层■?不符合唯一性?拼写错误?名称冲突?不符合外键?重复记录?冲突记录?结构冲突?数据时间不一致?字段格式不同?重复记录10-16-1999 模式层1 ■ 卖例层! 模式层 ■ ?不符合唯一性 ?拼写错误 ?名称冲突 ?不符合外键 ?重复记录 ?冲突记录 ?结构冲突 ?数据时间不一致 ?字段格式不同 ?重复记录 10-16-1999 ?:?ETL缺乏统一的数据质量控制框架 ?:?现有数据质量糸统 ■业界的质量工具往往只针对禁些特走的问题，没有与 ETL糸统很好的结合。 ■目前数据质量工具与丸量用户交互行为，而丸多数的 ETL过程往往需要周期性自动执行，当ETL运行肘，人 为交互的要求不能满足。 ?:?右发 ■将数据质量控制握架集成到ETL过程中，细化ETL过 程 ,提供可配置的方法将数据质量工具作用于ETL,提 當ETL过程执行的成功率. Metadata flow Instance characteristics (real metadata) Mappings between source and target J」 schema 选提依据及意义 ■谏计并卖现面向 ■谏计并卖现面向ETL的数据质量框架, 将数据质量 具作用于ETL过程? ■提供适合于ETL的数据质量工具集合. ■设计一套可扩畏接口, 据请洗操作. ■设计一套可扩畏接口, 据请洗操作. 便于用户定制或集成新的数 国內外研克现状 ?商用数据质量工具关注以下问题 ■字段的解析和才示准化 ■重复诃录检测 ■数据的分析统计 ■数据转换过程中的监控 ■数据加强 ?现有的数据质量工具 ■商用的：Data Explorer Data Quality (Informatica), First Logic (Business Object), Oracle OWB (Oracle), WinPure (WinPure) ■开源 Data Cleaner, Talend ■学术界：AJAX, Potter s Wheel, IntelliClean ■这些数据质量工具与ETL相对独立，往往只针对特定的教据质量问 題。 国內外研克现状 工具的上匕 名称 Profili ng Parse Standardize Correct Enhance Match 与ETL结 Data Explorer 有 无 无 无 无 无 无 Data Quality 有 有 有 有 有 有 无 First Logic 有 有 有 有 有 有 无 OWB 有 有 有 有 有 有 有 WinPure 有 有 有 有 无 有 无 Data Cleaner 有 有 有 无 无 有 无 Talend 无 有 无 有 无 有 无 AJAX, Potter s Wheel, IntelliClean主要从数据质量建模角度出发，刻屍数据质量过程. OracleOWB中数据质量工具与ETL x具相互结合，为业界ETL发畏的趋如 研克内家及研克方秦 Dl的数据质量控制糸统框 架 p Ap SabinossnouIOUEnv Oontrol IouuelloRffi []CB \ Ratfile ) {) adapter J … adapter J Source Adapt Filtering Manager Profiling Manager Statistical metadata 1 1 n Data Oualitv Framework 数据统 计分析(Data Profiling) ?:?作用 ■ 了解数据质量，分析元数据 ■輔助ETL的设计过程 ■輔助数据请理 ?:?数据统计的维度 ■字段属性 ■字段属性 ■结构属性 Columns Pattern Format Format % Compliant Unique Hdate YYYY-MM-DD Date 82% SSN 9(3)-9(2)-9(4) US Social Security Number 3% Phon