数据迁移工具汇报.pptxVIP

;;在油田信息化建设中，数据是核心关键，是信息化建设最有价值的资产。而将业务应用产生的有价值的数据，在整个油田信息网中可控、及时、安全的流转，是避免数据孤岛的关键。 数据及业务人员在数据管理过程中，经常要面对的是数据的迁移、数据的备份、数据的清洗及数据的同步等需求。而如果利用数据库现有功能去实现，技术要求高、操作复杂、灵活性差、功能受限。;目前常规数据迁移的方法一般有三种： 开发专用的迁移程序 优点是操作简单，操作人员只需要会使用迁移软件即可。缺点是需要一定开发周期，需要研发人员配合，灵活性差，需求一旦变更，程序就要改造。 借助Oracle等数据库的功能实现 需要专业的数据库管理员或数据库开发人员才能实现，技术要求高，且难以实现不同类型数据库之间的迁移。 采用GoldenGate等第三方的迁移软件 优点是功能相对完善，效率高。缺点是配置复杂，一般业务人员难以掌握，按点收费，费用高昂。;通过对相关业务分析，XX数据迁移工具设计主要具备三大功能，即数据迁移、数据同步、文件导入。数据迁移应该具备以下特点： 易用性好，完全的可视化操作界面，方便上手。 功能强大，可满足数据管理中的各种数据迁移需求。 运行稳定。 高效。 ;如何支持不同类型数据库之间的数据迁移及同步。 如何支持数据库结构不同时，数据的迁移及同步。 如何支持在迁移及同步过程中做复杂的数据处理及转换计算。 怎么解决数据增量同步，并确保高效及实时性。 如何实现软件的易用性。 ;;二、技术方案;二、技术方案;二、技术方案;二、技术方案;二、技术方案;二、技术方案;;数据迁移系统; 将源数据库现有数据根据设定的筛选条件，按照数据表或是字段对应规则，手动或是自动定时将数据迁移至目标数据库。;运行结果; 数据同步是指源数据库发生变动时，目标数据库在最短的时间内同步相应变动。 通过实时捕获变化数据，根据表和字段对应关系将改变的数据同步到源头数据总库，实时保持源数据库与目标数据库数据的一致性。; 按照捕获数据变化方式，同步分为解析归档日志同步、触发器同步及CDC同步三种模式。;; 解析日志同步中，解析日志和数据入库采用异步模式，避免了网络出现异常后同步数据丢失。; 1、首先通过上次解析的日志文件SEQ号判断并获取新增的日志文件列表。 2、然后通过上次解析日志的SCN号判断该日志文件要解析的日志记录。 3、最后解析日志文件，并过滤解析的日志记录，缓存成多个固定大小的数据文件。 ;三、功能介绍;3、文件导入; 迁移工具所有设置和操作都支持可视化，都有相应的界面供用户操作，其中表与表对应关系、字段对应关系等操作支持拖拽设置，符合大多数用户操作习惯，具有用户使用方便、易用、直观等特点。 数据迁移或同步详细日志可视化显示，方便用户随时查看及对对应状态的实时检测。; 数据迁移工具支持数据迁移过程中用到的迁移参数的设置，包括迁移模式、是否启动多线程迁移等参数。; 数据迁移工具是一个综合管理工具，可以同时维护、运行多个不同的数据迁移的项目，并通过项目的方式，分类展示出来。; 通过数据库对应关系，搭建多个不同库之间的虚拟链路关系，设置数据源与目标。;; 支持迁移事件，包括迁移前事件、迁移后事件、插入前事件、插入后事件、修改前事件、修改后事件，事件中支持执行sql语句和存储过程。; 如果源数据来源比较复杂，需要通过sql语句来获取或是通过存储过程来获取，就需要建立虚拟表。; 表对应关系搭建好后，需设置字段的对应关系，即源表是什么字段，对应目标表是什么字段，支持字段的计算及合并。; 字段设置中支持普通字段、常量、sql表达式（源）、代码转换、随机Guid、sql表达式（目录）等类型。; 设置迁移条件，只把满足要求的数据迁移过去，支持变量替换，支持字段拖放操作。; 对于一个项目可定制多个任务，任务触发条件可不一样，运行时间也各自独立控制。; 对于已经制定任务的运行、启闭操作。对数据迁移运行信息进行详细的查询。; 数据迁移同步工具保存着所有数据表同步运行详细日志，用户可以按照日期对日志进行分页查询。; 自动调度状态中显示任务或是同步运行详细信息，包括任务下次运行时间、上次运行结果和同步实时运行状态及结果等信息。; 迁移工具还支持远程调用功能，通常为了迁移工具运行的稳定性，会把迁移工具部署到服务器上，这样用户操作不太方便，所以迁移工具提供客户端远程调用工具，来运行迁移任务。; 文件操作包括Excel、DBF文件的导入与导出