紫金桥-etl模块介绍.docVIP

紫金桥实时数据库——ETL数据抽取 产品概述 在实际的应用中，需要采集的数据来源于其它系统(已经处理或加工过的)并存储在多个关系型数据库中。（例如：石油石化行业中，新原油价格及各种重要化工产品价格，原油、石脑油等源材料的进厂量累计，公司本年度的经营目标等，该部分数据分别来源于MES的生产数据库和计划系统的计划数据库）。基于此类情况，我们专门开发了一个数据抽取模块。数据抽取模块，将多个关系型数据库中的生产数据按预先配置的抽取策略实时抽取到紫金桥历史数据库。 抽取模块组成: 数据抽取模块由抽取配置和抽取执行程序两部分组成。 第一部分数据抽取配置程序。 第二部分数据抽取运行程序。 功能概述： 可以与多种关系型数据库进行链接。 集中抽取，可以把多个关系库数据抽取到同一个实时数据库中。 对列的类型进行转换 列映射 在将源端的表中内容复制到目标端时，可以通过配置条件将指定列（字段）映射到目标端的点参数上。 增加列 在将源端的表中内容复制到目标端时，通过配置条件可以增加一个数据列（字段），其值可以是固定值，也可以是表达式，然后映射到目标端的点参数上。 删除列 在将源端的表中内容复制到目标端时，通过配置条件可以在执行的结果集中删除某列（原始表中的列不会被删除），然后映射到目标端的点参数上。 列转换 在将源端的表中内容复制到目标