公共信息平台研讨.docx

公共信息平台技术方案文档版本V1.0发布日期2014.03.07目录1.系统架构12.软件架构23.硬件架构34.软硬件配置需求45.系统功能55.1.数据共享系统55.1.1.数据采集55.1.2.采集任务管理55.1.3.信息处理55.1.4.数据服务65.1.5.接口检测65.1.6.数据统计分析报表65.1.7.自身管理75.2.数据交换系统75.2.1.数据交换与访问75.2.2.发布流程管理95.2.3.访问流程管理95.2.4.参数配置95.2.5.信息使用行为统计报表9系统架构公共信息平台的总体架构如下图所示：图1 系统总体架构图如上图所示，公共信息平台由数据共享系统和数据交换系统两个子系统组成。数据共享系统实现对公共数据、以及各智慧应用需要共享出来的数据进行统一采集和集中存储，为综合门户和手机APP等应用提供基础数据支撑。数据交换系统实现对数据共享系统的对外接口以及各智慧应用的对外接口进行集中调度和管理。软件架构公共信息平台的软件部署架构如下图所示：图3 软件部署架构图硬件架构公共信息平台的硬件部署架构如下图所示：图2 物理部署架构图如上图所示，公共信息平台需部署三台服务器和一台PC终端，分别为数据共享系统服务器、数据交换系统服务器、数据库服务器、管理终端。软硬件配置需求序号业务名称台数CPU内存硬盘操作系统（小版本号）中间件部署（小版本号）其他软件或要求1数据共享系统服务器1Intel E5 26808核8G600GWindows 2008Tomcat 6Kettle2数据交换系统服务器1Intel E5 26808核16GB600GWindows 2008Tomcat 6MuleESB3数据库服务器1Intel E5 26808核16GB1TWindows 2008无Oracle 10g4管理终端1Intel i32核4GB100GWindows 7无系统功能数据共享系统数据采集数据共享系统支持对组织机构域、公共域、平台域、基础设施域、业务应用域和综合域等六个域的信息数据进行采集，针对不同的采集方式提供相应的WebService适配器、文件适配器、数据库适配器等适配器进行数据的采集。为了使系统具备良好的可扩展性，充分适应未来变化的数据管理需求，系统提供了高可扩展性的数据适配框架。WebService的Server端、Client端，以及其它适配器，都作为数据适配框架的插件而存在。未来如果出现需要扩展的其它适配技术，只需要增加新的插件即可。无论插件的增加、移除，均不影响适配框架的正常运行。采集任务管理为了使系统具有更好的灵活性，系统采用基于策略的采集技术和任务化的采集方式，支持管理员灵活设置采集周期、执行时间、采集接口等参数，同时对于采集任务，支持增加、修改、删除、启用、停用等操作。信息处理信息处理包括对采集到的数据进行语法检查、语义分析、格式转换、持久化存储等环节，具体来说：语法检查：根据数据接口规范的要求，系统对采集的数据进行语法检查。检查的内容主要包括：数据格式的正确性、数据的完整性、数据类型的正确性、数据是否可空等。如果检查不通过，则在记录本批次的数据异常信息，以便后续的分析。语义分析：系统对采集到的数据进行语义解析和处理。格式转换：将数据从元数据模型转换为物理模型可接受的数据，同时对数据进行统一化处理，转换单位、保留小数等。持久化存储：对转换为物理模型的数据进行数据库存储。系统采用开源的ETL工具Kettle进行信息处理，Kettle以元数据驱动的方式提供强大的抽取、转换和加载(ETL) 能力，并且提供了简单易用的图形界面设计器。Kettle本身支持各种数据源，包括数据库、文件、LDAP、WebServcie和RSS等数据源。Kettle提供了一组Java接口，可以通过应用控制Kettle的执行过程，并对Kettle的执行信息和结果信息进行监控。数据服务数据共享系统对综合门户和手机APP等应用等第三方应用系统提供访问系统内数据的服务。接口检测数据共享系统提供接口检测的功能，通过周期性巡检的方式，对各数据采集接口和数据服务的接口进行检测，当发现接口异常时，自动记录日志便于维护人员进行分析。同时，对于数据服务的接口支持自保护的功能，当接口检测发现数据服务接口异常时，通过自动重启该接口服务的方式，快速恢复数据服务运行。数据统计分析报表数据共享系统提供数据统计分析报表，对系统中的数据进行汇总分析，通过宏观全景的分析报表来表现用户关心的数据，并支持将报表导出为Excel、PDF等格式的文件。自身管理数据共享系统提供自身管理的功能，主要包括数据自动备份、采集日志管理、访问日志管理等对于系统自身的管理功能。数据自动备份，系统定期对数据库中的数据备份为库文件或SQL文件，用于防范当系统故障时，可以快速进行数据恢复