基于云计算的电子政务公共平台顶层设计数据管理分析.ppt

（6）数据集成服务技术设计 数据集成服务设计，应提供面向多租户的ETL服务，即数据抽取（Extraction）、数据转换（Transformation）、数据加载（Loading）服务，同时提供用户自主使用的ETL开发配置和监控管理服务，帮助用户将批量异构的数据集成到统一的存储管理系统中，以便完成进一步的数据挖掘和分析。 数据集成服务 技术设计 * 数据集成服务技术主要内容 * 数据抽 取服务 数据转 换服务 数据加载服务 ETL开发配置服务 ETL监控管理服务 对可支持常见关系型数据库、非关系型数据库、文件等不同类型的数据源的数据抽取，必须支持主流国产数据库。 支持全量抽取、增量抽取、基于日志的抽取等抽取模式。 具备扩展能力，可以非关系数据库的抽取。 （7）数据处理服务技术设计 主要指为满足电子政务应用需求而提供的对数据的多种技术处理手段。电子政务中常用的有：数据分析服务和数据展现服务等。 数据处理服务 技术设计 * 数据处理服务技术主要内容 公共平台应根据所管理数据的规模和实际业务需求提供大数据特征的数据分析和预测分析服务： （1）数据分析服务 * 具有良好的扩展性、容错性和大规模并行处理特征，满足电子政务的智能性分析预测的需求； 应支持海量数据挖掘，满足政府部门单位TB、PB级数据分析需要。 应支持业界流行的大数据存储、分布式计算框架，灵活处理分布式挖掘分析应用； 数据分析结果应满足多种形式的输出，分析结果可导出数据、分析结果可生成多种格式的报表、分析结果可通过门户发布到web页面、分析模型及分析结果可与现有应用系统无缝集成等。 公共平台通过统一的数据门户提供数据展现服务有关功能，数据门户提供统一的数据展现服务管理，将各类数据以图形、图像、地图、动画等更为生动、易于理解的方式来展现数据。 （2）数据展现服务 * 应提供统一的数据门户服务； 支持报表展现：支持专业报表、即席报表、企业级复杂报表等多种报表形式； 支持分析展现：支持假设分析、多维分析等高级应用； 支持图展现：提供GIS地图组件、仪表盘、热度图、树图、组织结构图、饼状图、柱状图、曲线图、曲面图、雷达图、漏斗图、极坐标图、股票图等多种交互式图表等方式。 * 333 * * 数据服务管理技术设计 总体要求 * （一）交换桥接 部门业务库和前置交换库之间的信息接口，以实现两个库之间的信息交换。 （二）前置交换 前置交换系统有前置服务器、交换信息库和交换适配器等组成；前置交换子系统和部门业务系统之间保持隔离，保证部门业务信息库和业务应用系统的独立性。 （三）交换传输 根据部署的交换流程，实现部门前置交换库之间的信息处理和稳定可靠不间断的信息传递。 （四）交换管理 实现对整个信息交换过程的流程配置、部署、执行和整个信息交换系统运行进行监控、管理。 * （二）数据转换服务 提供数据校验的功能，如空值检测、长度检查、数值范围检查、正则表达式校验等。 提供多种关系型数据表的转换功能，如字段值替换、值映射、一列拆多列、一列转多行、行转列、记录合并、记录排序、去除重复记录等。 提供数据运算处理功能，如求和（sum）、最大值（max）、最小值（min）、平均值（avg）等。 （三）数据加载服务 对可支持常见关系型数据库、数据仓库的数据加载，必须支持主流国产数据库。 应具备扩展能力，可以支持诸如NoSQL的非关系型数据库的加载。 （四）ETL开发配置服务 提供可视化图形操作界面，支持中文界面。 提供大量的ETL流程可视化组件，如序列组件、常量组件、随机数组件、资源校验组件、系统信息组件、延迟组件、测试组件、计算器组件等，可通过拖拽方式来组装成ETL流程。 （五）ETL监控管理服务 提供监控管理功能，能够对数据处理状态进行实时监控，粒度至每个组件处理的记录数和异常数，并且可以评估单个组件处理数据的性能指标和整个处理流程的性能指标。 具有完整的日志管理功能，提供对监测数据的查询功能。用户可通过多种口径（按创建时间、按作业类型、按运行时间等）查看上述监测结果详细信息。 具有监控预警机制，预警内容、警戒值可由用户配置，预警方式可支持邮件预警。 提供多种调度机制和异常恢复机制，支持自动和手动恢复，支持从异常点处继续开始流程，以保证数据的完整性。 * * 安徽智圣网络与信息安全咨询服务中心 * * 基于云计算的电子政务公共平台 数据管理技术 江 涛 数据管理范畴与定义 2 数据管理技术目标 3 1 数据管理技术设计和内容 提纲 * * 数据产生于计算机出现之前：书本、地图、艺术等 计算机出现以后，数据的内涵与表现形式都发生了巨大变化 在存储介质层面，数据表现为各种能保存0，1两种状态的载体 在逻辑层面，数据表现为组织与使用方式 逻辑层