基于Storm的数据迁移工具的设计与实现-计算机软件与理论专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密□ ，在 年解密后适用本授权书。 本论文属于 不保密? （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 摘要 数据作为政府机构和企业单位的核心资产，在几十年的信息技术变革中，逐渐 显现其金子般的色彩。随着数据量的增长，人们所面临的数据迁移难度越来越大。 在进行应用迁移和数据分析时，数据迁移的效率逐渐引起了相关人员的重视。 从海量数据迁移需求的角度，参考已有的数据迁移工具，以 Apache Storm 为底 层分布式数据流处理引擎，构建了一个面向海量数据迁移需求的高效异构数据迁移 工具。该数据迁移工具在结构上主要分为任务划分与分发和分布式数据流两部分。 这两部分相互配合，共同完成了数据迁移任务。 其中分布式数据流实现了数据抽取、数据转换和数据装载。通过实现 Storm 中 的 Spout 组件接口以及对异构数据源的适配完成了对数据源的数据抽取，通过实现 Storm 中 Bolt 组件接口完成了数据转换和装载，并且可以通过动态编译代码脚本的 方式实现了灵活的自定义转换。 任务划分与分发主要是对待迁移任务的划分和分发。每一个待迁移的数据库表 对应一个任务，任务的划分就是选择数据库表的一个划分字段，根据划分字段将表 划分成多个部分，每一个部分对应一个子任务。任务分发则是以 Zookeeper 作为中介， 首先 将 划分 得 到 的 子 任 务 发 布 到 Zookeeper 集群中，然后由数 据抽取节点从 Zookeeper 中获取任务执行。 此外，为了达到较高的可用性和可靠性，在任务划分与分发节点和数据抽取节 点之间利用 Zookeeper 实现了节点注册和状态检测等功能。 最后通过实验表明，该数据迁移工具满足了设计目标，实现了高效的数据迁移 功能。 关键词：分布式，数据迁移，异构，数据流 Abstract With the revolution of information technology in the past decades, data which is the core assets of government agencies and business companies gains more and more attention. But as data continue growing, the amount of data people faced become too huge to migrate using traditional techniques. The efficiency of data migration gradually attract the attention of relevant staff when they carry out application migration or data analysis. From the perspective of mass data migration, based on the existing data migration tools, this article builds a heterogeneous data migration system for massive data based on the real-time distribute stream processing system Apache Storm. This tool is composed of task splitting and distribution, and distributed data stream. The two parts cooperate with each other, and complete the entire data migration. The distributed data stream part consists o