大数据可视化数据治理整体解决方案.docx

大数据可视化数据治理整体解决方案大数据可视化数据治理整体解决方案大数据可视化分析平台一、背景与目标基于邳州市电子政务建设的基础支撑环境，以基础信息资源库（人口库、法人库、宏观经济、地理库）为基础，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时了解本市发展的综合情况，及时掌握发展动态，为政策拟定提供依据。充分运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合现有数据资源，结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理，法人与地理，实现基础展示与分析，融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。二、政务大数据平台1、数据采集和交换需求：通过对各个委办局的指定业务数据进行汇聚，将分散的数据进行物理集中和整合管理， 大数据可视化数据治理整体解决方案 大数据可视化数据治理整体解决方案 大数据可视化分析平台 一、背景与目标 基于邳州市电子政务建设的基础支撑环境， 以基础信息资源 库（人口库、法人库、宏观经济、地理库）为基础，建设融合业 务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、 数据开放等资源服务应用。实现市府领导及相关委办的融合数据 资源视角，实现数据信息资源融合服务与创新服务， 通过系统达 到及时了解本市发展的综合情况， 及时掌握发展动态，为政策拟 定提供依据。 充分运用云计算、大数据等信息技术，建设融合分析平台、 展示平台，整合现有数据资源，结合政务大数据的分析能力与业 务编排展示能力，以人口、法人、地理，人口与地理，法人与地 理，实现基础展示与分析，融合公安、交通、工业、教育、旅游 等重点行业的数据综合分析，为城市管理、产业升级、民生保障 提供有效支撑。 二、政务大数据平台 1、数据采集和交换需求：通过对各个委办局的指定业务数 据进行汇聚，将分散的数据进行物理集中和整合管理， 为实现对 数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业 务协同，提供统一和集中的数据交互共享服务。包括数据交换、 共享和ETL等功能。 2、海量数据存储管理需求： 大数据平台从各个委办局的业 大数据可视化数据治理整体解决方案大数据可视化数据治理整体解决方案务系统里抽取的数据量巨大，数据类型繁杂，数据需要持久化的存储和访问。不论是结构化数据、半结构化数据，还是非结构化数据，经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备高可靠性、快速查询能力。3、数据计算分析需求：包括海量数据的离线计算能力、高效即席数据查询需求和低时延的实时计算能力。随着数据量的不断增加，需要数据平台具备线性扩展能力和强大的分析能力，支撑不断增长的数据量，满足未来政务各类业务工作的发展需要，确保业务系统的不间断且有效地工作。4、数据关联集中需求：对集中存储在数据管理平台的数据，通过正确的技术手段将这些离散的数据进行数据关联，即：通过分析数据间的业务关系，建立关键数据之间的关联关系，将离散的数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。5、应用开发需求：依靠集中数据集，快速开发创新应用，支撑实际分析业务需要。 大数据可视化数据治理整体解决方案 大数据可视化数据治理整体解决方案 务系统里抽取的数据量巨大， 数据类型繁杂，数据需要持久化的 存储和访问。不论是结构化数据、半结构化数据，还是非结构化 数据，经过数据存储引擎进行建模后，持久化保存在存储系统上。 存储系统要具备高可靠性、快速查询能力。 3、数据计算分析需求： 包括海量数据的离线计算能力、高 效即席数据查询需求和低时延的实时计算能力。 随着数据量的不 断增加，需要数据平台具备线性扩展能力和强大的分析能力， 支 撑不断增长的数据量，满足未来政务各类业务工作的发展需要， 确保业务系统的不间断且有效地工作。 4、数据关联集中需求：对集中存储在数据管理平台的数据， 通过正确的技术手段将这些离散的数据进行数据关联， 即：通过 分析数据间的业务关系，建立关键数据之间的关联关系， 将离散 的数据串联起来形成能表达更多含义信息集合，以形成基础库、 业务库、知识库等数据集。 5、应用开发需求：依靠集中数据集，快速开发创新应用， 支撑实际分析业务需要。 6、大数据分析挖掘需求： 通过对海量的政务业务大数据进 行分析与挖掘，辅助政务决策，提供资源配置分析优化等辅助决 策功能，促进民生的发展。 大数据可视化数据治理整体解决方案大数据可视化数据治理整体解决方案采用新型MPP数据库+Hadoop的融合架构，使用MPP处理PB级别的、高质量的结构化数据，同时