面向实时数据仓库的达梦数据交换平台改进-计算机技术专业毕业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□，在 年解密后适用本授权书。 不保密√ 。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 华中科 技大学 硕士 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘要 在当前经济竞争激 烈的信息化 时代，实时 数据仓库不仅 需要为 BI(Business Intelligence)系统提供预测和分析的战略性支持，而且还需要提供实时战术性决策支 持。实时战术性决策支持要求实时数据仓库能够进行实时快速地更新，然而传统数 据仓库 ETL 周期调度更新方式和批量处理不能实施实时快速地更新，鉴于达梦数据 交换平台是一款专业的 ETL 产品，且不能对实时数据仓库提供实时支持，因此，对 达梦 ETL 改进以适应实时数据仓库环境具有重要意义。 基于实时数据仓库特点及对 ETL 新要求的分析，提出了一种实时数据仓库体系 结构；同时在对达梦 ETL 实现原理进行了深入研究基础上，从调度策略和 ETL 过程 执行两方面进行了改进。其一：考虑到传统数据仓库以天、星期和月等为周期进行 周期调度，这种方式的数据时延很大，不能满足实时数据仓库环境的要求。因此在 达梦 ETL 上增加了一种事件触发调度，事件触发调度是一种灵活的实时调度策略， 它结合了数据源中变更数据的特点及用户的需求等，可以实现从多角度设置触发条 件，能够实时地对数据仓库中数据进行更新，很好地满足实时数据仓库对 ETL 的实 时调度的需求。其二：实时数据仓实时性实时触发调度需要快速执行 ETL 过程，而 达梦 ETL 过程执行时，数据抽取、转换和装载过程各在一个线程中执行，因此采用 了多线程任务执行分解方案对 ETL 过程执行加于改进，实现多线程并发执行数据抽 取、转换和装载过程，通过提高并发度来提高 ETL 过程的执行效率。 通过实验表明，事件触发调度策略能够根据用户所设置的条件进行判断，在条 件成立时实时地把增量数据集中的数据更新到实时数据仓库中，并且多线程任务执 行分解改进在系统 CPU 资源没有得到充分利用时，对 ETL 过程的执行效率有一个显 著的提高。 关键词： 实时数据仓库，数据交换平台，事件触发调度，多线程任务执行分解 II II Abstract Data Warehouse not only provides the service of strategic predicting analysis for BI, but also need to provide the service of real-time tactical analysis, in the era of fierce economic competition. the service of real- time tactical analysis requires that the data in the Real- Time Data Warehouse ware updated in time and quickly, but the traditional periodical scheduling strategy of ETL in Data Warehouse can’t. in view that Dameng data interchange is a professional ETL products, but it couldn’t provide the service of real-time tactical analysis, Therefore, the professional ETL improvement to adapt to the environment of real-time data is meaningful. Based on the in-depth analysis of Real- Time Data Ware