城市运行中心数据中台建设2.docxVIP

城市运行中心数据中台建设

1.建设背景

城市管理和服务是城市发展与变革的永恒主题。随着经济社会的不断发展，传统的城市运营管理模式发现问题被动、信息传递缓慢、管理手段粗放、管理效率低下等弊端突出显现，城市管理水平与城市发展速度的不协调，严重制约了城市的发展步伐。

为积极应对新形势和新挑战，党和政府采取了一系列重大举措,全力推进现代信息技术的发展、融合和应用。习近平总书记在中央城市工作会议上强调我国城市工作的核心指导思想是转变城市发展方式，完善城市治理体系，提高城市治理能力，着力解决城市病等突出问题，不断提升城市环境质量、人民生活质量、城市竞争力。党的十九大报告明确提出形成“共建、共治、共享”的现代社会治理格局,提出要提高社会治理“社会化、法治化、智能化、专业化”水平。

按照“平战结合、条块联动、资源整合、科技支撑”的城市运营管理一体化新模式，通过对城市信息资源统一汇聚、挖掘分析，优化城市公共资源，修正城市运行缺陷，实现城市治理模式突破、城市服务模式突破、城市产业发展突破，形成城市运营管理体系。最终构建经济社会发展成果和智能应用场景集中可视化展示，城市管理资源高度整合、信息系统高度集成、部门联勤联动高度协同、上下贯通指挥高度统一的城市运营管理平台，为城市管理者提供辅助决策，使现代数字城市的运营管理更加科学化、精细化、智慧化。实现政府决策科学化、社会治理精准化、公共服务高效化的总体建设目标。

数据中台是对数据治理与运营的共性能力沉淀，让数据用起来,快速满足数据类应用的实现。它依托底层大数据存储和计算平台，服务上层数据应用体系，快速实现数据资产化、资产服务化，缩短数据与应用之间的距离，响应应用创新需求。满足数据开发与管理人员数据集成、标准、建模、开发、标签、资产、服务各层次应用需求，提高其生产力，缩短数据价值的萃取过程，提升数据价值提炼的能力。

为各委办局后续在业务系统建设进行赋能，无需再建设数据中台，使用本次项目建设的数据中台进行租户空间资源申请即可，实现一个中台服务全市各领域、各部门。

2.建设内容

(-)大数据计算存储平台

大数据计算存储平台实现对资源的弹性化服务，计算资源弹性伸缩、按需分配。通过建设基于大数据架构的计算存储平台实现全面扩展数据采集、存储、计算和应用服务能力，满足未来城市级大数据中心建设需求。

大数据计算存储平台支持多租户、项目空间的管理模式，能够实现数据物理集中逻辑隔离，为各部门开辟单独的逻辑数据隔离区，满足未来市级各部门的数据计算开发、数据分析探索的需求。

大数据计算存储平台要求融合分布式存储与计算、分布式数据仓库以及互联网云计算服务等技术，以分布式计算服务的形式实现海量数据的存储与处理。大数据存储计算需提供运维管理平台，能够更快速的解决海量数据计算问题，支持多租户架构，具备多应用多实例并发同时计算并隔离应用数据和程序的能力，可以让多个用户在一套平台上协同工作。

大数据存储计算引擎需采用分布式架构，存储能力和计算能力支持横向扩展，数据存储应采用分布式文件系统，支持多种存储格式,提供高可靠性和高性能，要求支持列式存储，同时具备高压缩比能力。大数据存储计算引擎要求支持与常见数据源如传统数据库、Hadoop、HDFS和文件进行数据导入导出，以及流式数据导入。大数据存储计算引擎要求基于统一的内存迭代计算架构，提供SQL、Giaph计算、MapReduce,机器学习等多种数据处理接口和框架，需具有高吞吐高性能的数据处理能力，要求提供SQL查询界面内置丰富的函数库。建设内容主要包括：多租户功能、运维管理、集群管理、服务中心、数据处理能力、数据可用不可见等。

1、分布式架构

大数据存储计算引擎需提供基于大数据架构的分布式数据仓库,全面整合各类数据，按照主题组织信息，构建智能数据核心，提供对查询速度、并发度、扩展性的保障。

2、多租户管理

大数据存储计算引擎需支持多租户功能。实现面向不同业务单位分配逻辑隔离、物理统一的计算资源与存储资源，供各业务部门开展独立的大数据建设。让多个租户共用一个应用程序或运算环境。支持采用租户一项目■用户三级管理，实现平台为各委办局、各种专项事件和工作提供租户空间供其使用。平台在单个租户内又可以根据不同的业务部门创建不同的项目。每个租户中可以有多个用户，同一个用户可以到不同的项目中；同时租户内的用户可以分配不同的角色，不同角色具有不同的操作权限。

3、运维管理大数据存储计算引擎要求提供运维管理功能，运维管理应支持展示当前的使用状况，显示系统的重要信息，包括且不限于集群服务器数量、集群整体磁盘使用率、集群整体CPU使用率、主机概览、服务概览、自定义监控项等内容。

4、集群管理

大数据存储计算引擎要求提供集群管理功能，集群管理要求支持显示各个物理主机或虚拟主机的CPU使用率、磁盘使用率、内存使用率、负