智慧城市大数据平台及智脑工程项目建设方案.docx

智慧城市大数据平台及智脑工程项目 建设方案  1.项目概况 根据《新型智慧城市建设总体方案》，到2022年底，我市要初步构建覆盖全域的智慧城市生态体系，建成以“城市智脑”为核心的数字共性赋能平台，汇聚融合城市数据资源、创新城市智慧应用，建成国内一流、西部领先具有科创特色的国家新型智慧城市标杆。“城市大数据及智脑工程”是智慧城市总体框架中的核心项目，主要建设内容一是以数据共享开放和融合利用为核心，以大数据、人工智能、物联网等新技术为支撑，建设城市大数据平台、业务中台、时空信息平台、视频融合赋能等平台，打造城市统一能力底座。二是聚焦城市管理、民生服务等领域建设一网统管平台、城市运行管理服务平台、影像互认平台、重点车辆治理平台和房屋安全管理平台等智慧应用。三是建设城市智能运营管理实体中心和可视化应用，通过立体化、可视化、动态化展示各领域运行状态，支撑领导决策，实现“一屏观、一网管全城”。 2.建设内容及服务要求 （一）应用支撑系统 序号 标的名称 技术参数和配置要求 单位 数量 1 大数据支撑平台 1、大数据平台的HDFS组件，提供访问HDFS的REST接口，通过REST接口可实现创建、删除、上传、下载文件等操作。2、支持分级存储，即支持集群中同一节点上配备不同类型的磁盘，如SSD、SAS、SATA等。支持指定文件存放在指定类型磁盘上。3、支持HDFS组件上节点均衡调度、单节点内磁盘均衡调度等策略。4、支持提供Spark+Hive组件，支持开源CarbonData高性能分析引擎，提升查询性能，实现超PB数量级数据快速查询。5、支持提供交互式查询组件，支持跨数据源、跨数据中心的协同计算能力，支持组件包括Hive/Spark/Flink/Hudi/HetuEngine，支持与MPP数据库实现跨平台的协同计算能力。6、提供大数据平台软件64CPU授权。 节点 6 2 数据仓库 支持通用x86服务器或ARM鲲鹏服务器架构部署2、采用Shared-Nothing的MPP架构，支持全分布式并行执行3、支持全对称分布式的Active-Active多节点集群架构，系统无单点故障。4、支持全局事务一致性，数据库事务特性支持RC/RR两种隔离级。5、支持在线扩容，扩容过程中数据持续可查询（包括正在数据重分布的表）；数据重分布阶段支持主流DDL（Insert/Update/Drop/Truncate）。6、支持多层级并行计算，包括服务器级、进程级、线程级、指令级并行等。7、提供数据仓库平台软件64CPU授权。 8、提供多数据仓库引擎软件著作权证书。 节点 3 3 工作台 1、工作台是对整个数仓实施全过程的整合，其主要使用对象是数据开发人员，通过工作台可视化拖拽方式可以快速实现构建数仓分层分域、构建数仓模型、数仓ETL实施、数仓成果生成。 套 1 4 数据集成 1、数据探查是助力资产智能盘点的工具，提供自助式探查配置、可视化探查结果报告、全局探查结果概览能力，帮助用户对目标库表情况快速了解。2、数据同步通过可视化拖拽组件实现搬移数据操作，通过拖拽组件方式快速开发数据同步作业，“零”编码、易操作、易阅读、易维护，全面提高数据接入的效率。支持单表级数据同步，多表批量创建任务，提供字段自动映射配置，支持40多种结构数据库接入，数据接入引擎支持数据采集分区并行加载技术，提供高效的离线数据抽取、加载服务。3、数据对账是为了校验数据提供方和数据接入方在数据接入环节的某一对账节点对数据的完整性、一致性、正确性进行核对和检验的过程。支持结构化、非结构化数据的比对，结构化数据对账支持单表和批量方式完成数据对账配置，支持数据量统计对账和数据内容对账两种模式。4、数据概览以可视化图表的形式，对数据同步、数据对账模块的任务进行统计。支持对接入数据源总数、接入资源总数、接入数据总量、接入数据大小、数据接入量分析等统计。支持对结构化对账、非结构化对账数据的统计，可查看近30天差异量TOP10、接入源对账占比等统计。 套 1 5 数据开发 1、提供离线开发功能。支持SQL脚本和组件开发模式，组件开发模式采用Spark分布式内存计算技术，支持20种以上的结构化数据接入，内置丰富高性能数据处理算子，充分利用大数据平台计算资源提高数据处理效率。2、提供实时开发功能。实时开发接收实时汇聚转发来的数据，调用分布式计算系统相关服务，经过处理转换后分别形成统一数据中心的数据。实时开发能够满足事务处理的高速、高可靠性海量实时数据处理要求；平台支持对实时任务的新增、修改、上线、下线、立即运行等功能。3、提供工作流管理功能。工作流是通过可视化的任务编排界面，将各个任务的依赖关系呈现出来，并提供基于大数据集群的调度能力，对各个调度任务提供监控与执行日志，帮助大数据开发人员