开题报告OnceDI中监视系统的设计与实现.docxVIP

OnceDI中监视系统的设计与实现 报告人：吴辉 导师：口十丹高级工程师 2011-1-18 内容提纲 ■选题依据及意义 ■国内外研究现状 ■研究内容与研究方案 ■工作进展与工作计划 I选题根据及意义(1) ■数据集成 □数据集成是将不同来源与格式的数据逻辑上或物理上进行集 成的过程⑴。 ■ ETL (Extract, Transform, Load) □ ETL完成跨数据源的数据抽取，并将数据经过一定的转换， 最终加载到目的端数据源，是数据集成系统的重要组成部分。  选题根据及意义（2） 数据集成中间件OnceDIExtractDI Server分布式体糸结构分布式体糸结构分布式ETL过分布式ETL过从全局了解糸统情况统计分析评估糸统性能、辅助決策 Internet* DI ServerCont? Center了鮮整个ETL过程的调 度执行情况和数据迁移 数据集成中间件OnceDI Extract DI Server 分布式体糸结构 分布式体糸结构 分布式ETL过 分布式ETL过 从全局了解糸统情况 统计分析评估糸 统性能、辅助決策 Internet * DI Server Cont? Center 了鮮整个ETL过程的调 度执行情况和数据迁移 —— 国内外研究现状(1) ■ ETL Monitoring!2] □ ETL过程相关指标 执行状态、执行时间、抽取速率、加载速率、吞吐率等 “You will want to monitor job status for all job runs initiated by the job scheduler including pending, running, completed, and suspended jobs…” □系统基础设施性能指标 CPU使用、内存使用、磁盘读写速率、网络传输速率等 □数据统计 “Users often want to know exactly when a table has been loaded or if any rows were rejected... Mcapturi ng the historical data to support trending performs nee over time. “ Be sure to trigger alerts whenever an ETL job takes significantly more or less time to complete than indicated by the historical record.^^ [2]Ralph Kimball, Joe (^aserta. The Data Warehouse ETL Toolkit, Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data.Wiley, 2004 国内外研究现状(2) ■主流ETL工具的监控功能 □ ETL中间件 Informatica PowerCenter, Talend, IBM DataStage □数据库附带ETL工具 Microsoft SQL Server Integration Service, Oracle Data Integrator □不足：统计分析功能简单，大多没有提供监视ETL过 程执行进度的功能。 ■其它 □低干扰(Low intrusion) ——可酉F!置 监视糸统的体糸结构 Studio? OnceDI Studio ? OnceDI 控制 Mon计or Client ＞监视信息流 流OnceDI数 据流 Relational l)B MAgenl DI Server Control Center AAA齐 rrt XML 研究内容和研究方法(2) Client, cfg 监视糸统的体糸结构 MCenter.cfg Data Cash Client Interface Monitor Center P将 Alarm I odd I Agent RegisteJ Dispatcher Session 监视信息的收集和传输 监视信息的组织和存储 监视信息的统计、分析和展示 1.监视信息的收集和传输 目的：通过收集各种监视指标来反映糸统 的行为和状态 1.ETL indicatorsMeta datanameauthorETL过程的执行进度二拆干祁 e二二二2.ProgressStart/End timePerformance results writeDuration?T3： 1. ETL indicators Meta data name a