电信ODS中ETL技术研究和应用.pdf

重庆邮电大学硕士论文 摘要 摘要 ODS作为一种企业数据共享的统一数据视图，可以满足企业集成的、即时性的、 操作性的数据的需求，有效地解决企业内部数据共享、系统协同等问题。ETL作为 操作型业务源系统与ODS的桥梁，是提高操作型业务源系统与ODS数据同步实时 性的核心与关键。因此，研究并实现高效、合理的ETL策略和架构，进一步提高 ETL性能对ODS提供准实时性业务数据支持尤为重要。 论文结合CSP理论研究了增量ETL工作流并发调度策略，设计并实现了基于 消息驱动的ETL机制，解决了ODS准实时数据同步问题。论文首先结合CSP理论 建立了一种基于CSP的并行增量ETL过程模型，并利用CSP描述模型分析了增量 ETL过程执行的时序和逻辑关系，研究了增量ETL过程执行的相关逻辑状态，给出 了一种增量ETL过程调度算法，解决了增量ETL工作流的并发调度策略及调度时 产生的死锁等问题；其次在ETL数据整合方案中引入了消息驱动的思想，研究并实 现了基于消息驱动的ETL，给出了消息体系和基于消息驱动的数据同步方法的具体 实现，解决了跨系统间操作型业务源系统、ETL和ODS之间跨系统消息交互和数 据同步的过程；最后结合某省电信ODS平台中数据同步处理的具体需求，给出了 系统具体的架构设计以及功能设计，设计并实现了基于CSP的增量ETL调度策略 和基于消息驱动的ETL机制的电信ODS平台数据同步框架。 实践证明，基于CSP的增量ETL调度策略和基于消息驱动的ETL机制具有源 系统负载小，数据的实时性高等特点。在电信ODS平台的实际应用中，基于CSP 的增量ETL调度策略和基于消息驱动的ETL机制不但能够较好地满足ODS数据同 步处理的功能要求，并且在数据的完整性和实时性上达到了较好效果。 关键词：ODS，ETL，消息驱动，CSP 重庆邮电大学硕士论文 Abstract Abs仃act an As unifiedviewof data Canmeetthe enterprisesharing，ODS and dataneedsof can addresstheinternaldata operational enterprise．Also，it effectively otherissuesof a ofthe sharing，systemcoordination,andenterprise．ETL，as bridge businesssource and thecoreand to operating systemsODS，is keyimproveoperational business source and andreal-timeofODS systemssynchronization data．Therefore， and ETL efficient,reasonableandstructuretofurther studyingachieving strategy improve the ofETLis to the businessdata performancevery importantp