2021数据迁移工具汇报.ppt

5 、功能界面 虚拟表建立 三、功能介绍 如果源数据来源比较复杂，需要通过 sql 语句来获取或是通过 存储过程来获取，就需要建立虚拟表。 5 、功能界面 字段对应关系建立 三、功能介绍 表对应关系搭建好后，需设置字段的对应关系，即源表是什么 字段，对应目标表是什么字段，支持字段的计算及合并。 5 、功能界面 字段设置 三、功能介绍 字段设置中支持普通字段、常量、 sql 表达式（源）、代码转 换、随机 Guid 、 sql 表达式（目录）等类型。 5 、功能界面 迁移条件建立 三、功能介绍 设置迁移条件，只把满足要求的数据迁移过去，支持变量替换， 支持字段拖放操作。 5 、功能界面 任务定制 三、功能介绍 对于一个项目可定制多个任务，任务触发条件可不一样，运行 时间也各自独立控制。 5 、功能界面 任务调度 三、功能介绍 对于已经制定任务的运行、启闭操作。对数据迁移运行信息进 行详细的查询。 5 、功能界面 日志查看 三、功能介绍 数据迁移同步工具保存着所有数据表同步运行详细日志，用户 可以按照日期对日志进行分页查询。 5 、功能界面 任务调度状态 三、功能介绍 自动调度状态中显示任务或是同步运行详细信息，包括任务下次运 行时间、上次运行结果和同步实时运行状态及结果等信息。 5 、功能界面 任务远程调用 三、功能介绍 迁移工具还支持远程调用功能，通常为了迁移工具运行的稳定性，会把 迁移工具部署到服务器上，这样用户操作不太方便，所以迁移工具提供客户 端远程调用工具，来运行迁移任务。 数据迁移工具 1 2 系统概述 技术方案 3 4 5 功能介绍 系统特点 成功案例 一、系统概述 项目背景 在油田信息化建 设 中， 数 据是核心 关键 ，是信息化建 设 最有价 值 的 资产 。 而 将业务应 用 产 生的有价 值 的 数 据，在整 个 油田信息 网 中可控、及 时 、安全的 流 转 ，是避免 数 据孤 岛 的 关键 。 数 据及 业务 人 员 在 数 据管理 过 程中， 经 常要面 对 的是 数 据的 迁 移、 数 据的 备份 、 数 据的 清 洗及 数 据的同步等需求。而如果利用 数 据 库现 有功能去 实现 ， 技 术 要求高、操作 复杂 、 灵 活性差、功能受限。 一、系统概述 项目背景 目前常 规数 据 迁 移的方法一般有三 种 ： ? 开发专 用的 迁 移程序 优 点是操作 简单 ，操作人 员 只需要 会 使用 迁 移 软 件即可。缺点是需要一定 开发 周期，需要 研发 人 员 配合， 灵 活性差，需求一旦 变 更，程序就要改造。 ? 借助 Oracle 等 数 据 库 的功能 实现 需要 专业 的 数 据 库 管理 员 或 数 据 库开发 人 员 才能 实现 ，技 术 要求高，且 难 以 实 现 不同 类 型 数 据 库 之 间 的 迁 移。 ? 采用 GoldenGate 等第三方的迁移软件 优点是功能相对完善，效率高。缺点是配置复杂，一般业务人员难以掌握，按 点收费，费用高昂。 一、系统概述 设计目标 通过对相关业务分析， XX 数据迁移工具设计主要具备三大功能，即数据迁移、数据 同步、文件导入。数据迁移应该具备以下特点： ? ? ? ? 易用性好，完全的可视化操作界面，方便上手。 功能强大，可满足数据管理中的各种数据迁移需求。 运行稳定。 高效。 一、系统概述 技术难点 ? ? ? ? ? 如何支持不同类型数据库之间的数据迁移及同步。 如何支持数据库结构不同时，数据的迁移及同步。 如何支持在迁移及同步过程中做复杂的数据处理及转换计算。 怎么解决数据增量同步，并确保高效及实时性。 如何实现软件的易用性。 1 2 系统概述 技术方案 3 4 5 功能介绍 系统特点 成功案例 二、技术方案 设计思路 开发一套定制工具，制定一些对应规则，实现不同的数据库、不同 的表结构之间对应关系的建立。通过引擎调用不同的底层驱动，实现不 同数据库之间的数据迁移。 数 据 质 量 检查 源 库 解析 引擎 目 标 数 据 目 标库 事件 操作 数 据 对 应规则 二、技术方案 整体技术架构 应用程序 应用程序 数据库管理员 业务人员 人 人 数据迁移服务接口 数据迁移工具 UI 界面 功能调度引擎 界面定制引擎 自动运行引擎 异常处理引擎 TCP 通信引擎 数 据 迁 移 工 具 多线程调度引擎 日志记录引擎 数据迁移引擎 数据同步引擎 功能操作引擎 文件导入引擎 数据库操作引擎 Oracle 引擎 SQLServer 引擎 Access 引擎 DBF 引擎 Excel 引擎 …… 数 据 库 二、技术方案 数据操作流程 用户 数据迁移、同步及文件导入均遵从此流程。 人 制 定 迁移规则 异 常 监 控 实时 反 馈 日志 记录 规则