智慧新区数据融合服务平台功能详细设计.doc

智慧新区数据融合服务平台功能详细设计 数据交换层设计 数据交换系统核心的功能包括了数据桥接子系统、数据传输子系统、前置交换子系统和交换管理监控子系统。 交换桥接子系统 数据采集 在本项目的建设中，需要参与交换的信息资源包括如下数据，以及项目需要采集的其他数据： 交换桥接子系统功能模块 桥接系统的功能完成部门业务系统信息库与前置信息库（或交换平台）之间双向安全、可靠的信息交换，并实现数据格式转换（XXDB—XXXDB、DB－XML、XML－XML等转换）。 桥接实现方式包括直接连接、通过网闸等定时或实时传输。 数据映射通过可视化的操作建立不同数据表之间的映射关系，能够提供多表之间的映射和表之间字段的映射。 数据抽取提供全量抽取、增量抽取、实时抽取、定时抽取、多种数据类型选择等功能； 数据过滤支持自定义过滤规则、表级过滤、字段过滤、内容组合过滤等功能； 数据转换支持自定义转换规则、编码转换、内容转换、字典转换、类型转换、元数据转换等功能； 数据导出支持手动导出、自动导出、多格式文件导出、实时导出等功能； 数据导入支持手动导入、自动导入、多格式文件导入、实时导入等功能； 监控管理支持桥接数据查看、桥接数据统计、桥接数据报警、桥接异常数据跟踪、桥接异常日志查看等功能。 交换桥接子系统功能特点 交换桥接系统是部门业务数据对外共享的双向接口。它负责将部门业务数据提取到前置交换系统中；也负责将前置交换系统中共享数据导入业务部门。它的实现方式取决于部门的实际情况。交换桥接系统提供以下功能： 支持业务数据与前置交换系统实时双向同步； 支持各种主流操作系统； 支持国内外主流数据库，如SQL Server、ORACLE、DB2等； 支持各类结构化及非结构化文件，如TXT、Excel、XML等； 支持各类音频视频文件，如AVI、RM、RMVB、WMA、MP3等； 采用适配器组件访问桥接对象，实现数据的获取与存储； 提供增量数据自动识别的功能。在不修改业务信息库结构的情况下，系统能够自动识别出需要交换的信息，包括新增、被修改或被删除的信息； 提供图形化的信息交换桥接配置及管理工具，支持桥接 指标定义与桥接管理等功能； 支持多个桥接任务或服务同时运行，支持远程部署。 桥接模式 逻辑隔离状态下的桥接 逻辑隔离情况下，桥接系统的结构如下： 对于业务数据发布过程，在业务网络中的适配器从业务库中提取新鲜数据进行转换并保存到交换库中。防火墙只允许通过从内部到外部的访问。 根据部门信息化建设的不同情况，以及业务信息存储类型可以选用各类关系型数据库、结构化文件、非结构化文件等多种类型。 物理隔离状态下的桥接 物理隔离情况下，可选用网闸设备建设桥接系统，结构如下： 对于业务数据发布过程，在业务网络中的适配器1从业务库中提取新鲜数据生成XML文件，保存到网闸的内部单元指定的目录中；网闸将文件摆渡到网闸的外部单元的目录中，外部网络中的适配器2从网闸指定的目录中提取XML文件进行转换并保存到交换库中。 还可以采用人工导盘的方式，实现部门业务信息与前置库的信息交换，如下图所示。 异构系统的桥接 异构系统包括其他交换应用单独建设的交换平台和跨级异构交换平台，通过构平台路由系统接入本信息交换平台，实现平台间的信息交换。如下图所示。 异构平台对接采用web service 方式、消息传输方式和前置库方式。采用web service方式，遵循国家标准《政务信息资源交换体系第2部分：技术要求》（GB/T 21062.2-2007）的有关规定实现对接；采用消息传输方式，通过规范消息接口模式实现消息总线对接；采用前置库方式，通过前置库作为两个交换系统的接口，实现系统对接。 交换传输子系统 交换传输系统即消息总线系统，作为前置交换系统之间的信息交换通道，实现交换信息的打包、转换、传递、路由、解包等功能。 交换传输子系统功能模块 交换传输子系统包括如下的功能模块： 消息中间件：采用ESB技术，支持WEB服务注册，支持双机热备、服务器集群。 消息队列：消息队列Queue、消息订阅和发布（Pub/Sub） 可靠传输：消息存储、传输确认、数据压缩、断点续传，保证数据传且只传一次；异常数据回滚、死信处理机制、临时数据暂存等； 安全传输：支持消息加密、身份认证，支持SSL、PKI协议 多传输协议：支持HTTP/HTTPS、FTP、JMS等多种协议； 信息路由支持基于内容（Content-based）的路由、基于数据包头（Header ）的路由等以及服务器之间路由、队列之间路由 日志服务：支持数据传输日志查看。 交换传输系统功能和特点 交换传输系统的功能特点： 消息传送应支持HTTP协议； 采用SOAP 1.2作为消息封装格式； 提供消息寻址功能，支持信息路由功能； 提供消息确认和消息选择性重发机制以实现前