白皮书-DSG SmartE技术说明书(Oracle实时数据抽取转换软件).docVIP

DSG SmartE Oracle实时数据抽取转换软件 产品概要说明 迪思杰（北京）数码技术有限公司 2009-2-17 信息系统需要数据新的系统架构 随着计算机应用系统的爆炸式发展，业务量迅速增加，业务种类日益复杂，企业必须管理不断增长的信息流量；随着信息量的急剧增大，核心数据的管理变得日益困难。如何安全、可靠地存储业务数据及满足未来业务数据高速增长的需要；如何有效管理日益增长的业务数据；如何实现业务数据的共享并在现有业务数据之上建立新兴的增值应用，如数据仓库、客户关系管理等，成为了各企业建立信息系统的关键所在。 目前，各企业信息系统在数据管理领域存在着普遍的问题： 数据流通效率低下，企业信息孤岛现象严重 信息系统的建设主要是以应用为驱动的，是随着各种业务的逐渐建设的。当出现一类新的业务时，一般需要为该业务建设一套业务支撑系统，保存与该业务有关的主要数据。而这些数据可能同时也需要被其他应用所访问。从而自然就形成了各子系统应用在不同的纵向，管理着不同的业务单元或对象，各个子系统又是相互独立运行，导致形成了一个个“信息孤岛”。这些系统相互之间没有畅通的信息交流与共享，阻碍了企业信息化建设的整体进程。 数据报表、查询和数据共享效率低下 为了提高市场竞争力，提高客户满意度，企业需要更复杂的、更灵活的业务统计报告、需要深入的数据挖掘、需要实时的客户查询。而这些大量的统计、查询业务收到现有系统架构的制约，不得不降低效率标准、不得不推迟报告时间、从而导致客户服务质量降低、业务发展情况报告迟缓，业务发展情况不明等问题。 企业需要新的信息架构 因此，各企业比以往任何时候相比，管理和有效使用这些信息系统的能力高低都更能决定了长期生存和发展能力，因此比以往任何时候，企业都更关注于如下领域： 提高系统运行效率，提高业务报表、提高客户服务质量，并降低客户流失率。 加强企业信息流通、提高企业信息的附加值、进一步挖掘企业信息价值、迅速开发和推广新业务，创造更多收入并保持竞争能力。 提高信息系统业务连续运行能力，提高数据安全保护水平。 DSG SmartE提供实时数据共享解决方案 提高数据价值、加快数据共享、提高数据利用频率的最佳手段就是加快数据的流通，传统的数据流通非常复杂： 一方面是依靠数据提供方编写特定接口来提供实时数据。这就要求每个应用系统都需要为数据订阅方编写特定接口，势必造成接口种类繁多、接口复杂、难以跟上不断变化的业务需求、加大应用开发商的负担等问题； 另一方面是靠数据使用方主动从数据源去获取，这就导致了数据的抽取的延迟，经常导致数据的抽取间隔达到每天一次，这远远无法满足数据实时共享的需求。 DSG SmartE软件解决了以上问题。 该软通过安装在数据源系统上的代理程序（agent）来对生产数据的变化进行实时跟踪，然后将跟踪到的数据传输到数据订阅方，根据规则对数据进行过滤、转换，根据需求方的自定义格式进行数据装载。 该方式在满足数据抽取方面具有几个明显的特点： 实时性 SmartE采用数据跟踪和push技术，安装在数据源端的数据变化跟踪程序agent实时跟踪新的数据变化，然后将变化实时发送到数据需求端，数据的延迟可在秒级实现共享。 可配置性 SmartE提供了灵活的配置参数，可通过参数配置来定义需要共享的数据表(table)，共享的数据项（字段），共享的条件（满足条件的记录）。这些都可以通过参数配置，而不需要数据源针对每个数据的要求编写专用的接口。 低干扰性 DSG实时数据复制技术不需要通过任何数据库的引擎来获取变更数据，而是通过数据库自身的信息获取源系统上的改变并传送给目的系统，不会对生产系统造成性能影响。 对生产系统的CPU资源占用5%； 零活性 SmartE提供不仅提供了选择表、选择字段和选择记录的复制，并且还提供了数据的转换，例如字段名的映射、数据类型转换、数据运算等。 支持多种复制结构 单向复制： 从一个数据库向另一个数据库复制； 双向复制： 两个数据库进行互相复制； 广播复制： 由一个数据库向多个数据库复制； 集中复制： 由多个数据库向一个数据库复制； 级联复制： 由A数据库向B数据库复制，同时又由B数据库向C数据库进行复制。 DSG SmartE功能概述 DSG SmartE支持的功能包括： （1）复制指定用户下的数据 可配置需要复制的schema名字，SmartE会将该用户所有的表都复制到目标端； （2）复制指定的表 可配置只需要复制哪些表，哪些表不需要复制 （3）复制指定的数据 可配置一个表中的满足条件的记录复制，不满足条件的记录不需要复制 （4）复制指定的列 可配置表中需要复制的列，和不需要复制的列 （5）对列的数据进行转换 列映射 在将源端的表复制到目标端时，将指定表指定字段复制到目标端表的不同