合众数据集成系统建议解决方案.pdfVIP

1建设背景

近年来，以工程一期、二期建设为载体，围绕警综平台、平台、

地理平台等六大平台重点系统深化建设应用需要，我省机关大力开展社会

信息资源和互联网信息资源的汇聚整合工作，机关掌握的数据种类不断丰

富、结构不断异化、总量急速增长，数据资源越来越成为事关工作战

斗力的宝贵资源，做好海量异构数据的专业化整合集成、关联共享、安全防护

和管理，深度挖掘信息资源内含的巨大价值，主动发现有实战指导意义的

线索，实现数据资源的综合应用、深度应用，已成为提升机关战

斗力，实现信息化可持续发展的关键途径。

2现状分析

目前，我省系统掌握的数据已具有明显的大数据特征：数据总量巨

大、数据结构多样化、数据增长迅速。据初步统计，省厅现阶段需整合20余个

一、数据分散，缺乏共享

二、数据标准不一，质量异化

3解决方案

3.1拓扑图

3.2方案描述

拓扑说明：

1.地市实施内容：

在各地市机房部署数据交换系统服务器，完成对各地市数据库的数据同

步。

2.省厅实时内容：

A.在省厅机房部署数据交换系统服务器，完成对节点的统一，

同时完成省厅一级的数据库。

B.在省厅机房部署实时数据同步系统RDS，完成对生产库基于日志解析方

式的。

C.在省厅机房部署数据集成系统ETL，完成对所有的数据、转换，

最终装载至OracleRAC基础库。

D.在省厅机房部署数据集成管理系统，完成对数据整合平台中的数据集成

系统ETL和实时数据同步系统RDS的统一，业务配置，同时提供对

基础库的数据质量校验、统计分析。

4产品功能

1、支持大数据Hadoop体系，支持读写NoSQL数据库，支持各关系数据

库数据向Hadoop中列数据HBase与HDFS进行数据迁移，直接转换成

RCfile、Parquet格式。

2、提供多种关系型数据库适配器，支持Oracle、SqlServer、Sybase、

DB2、Informix、MySQL、Postgresql、Access2000等数据库之间的数据抽取、

转换与装载集成。提供文件适配器，支持扁平文件/XML文件/Excel电

子表格等数据转换与集成。

3、采用多线程技术，支持集群化部署，提供统一的集中管理器。

4、面向数据集成领域提供数十种的数据函数与数据转换控件。支

持各种字段级的映射转换，包含数据类型转换、字段运算、参照转换、字符串

处理、空值处理、日期转换、运算、既定取值、字段切分、字段合并等；

内置多种数据检测函数，如isNull、isDateTime、isNumeric、getMapValue等，

帮助用户异常数据。

5、数据的转换需求是多变的，系统具有开放性，提供编程模块，

支持自主编程进行数据转换规则的设计。

6、系统为国产软件，提供B/S架构的全中文界面，提供图形可视化的作业

流程设计配置器，通过浏览器方便的配置设计数据集成服务；

能，产生数据异常时，支持忽略异常或中止ETL