智慧城市大数据平台建设方案（ word 版）.docxVIP

第 第 PAGE 10页 智慧城市大数据平台建设方案 目 录 1． 大数据平台项目建设方案4 1.1大数据平台建设目标与内容 4 1.2大数据平台设计 4 1.3大数据平台架构 6 1.3.1 体系架构6 1.3.2 体系特点1.0 1.3.3 大数据处理技术1.1 1.4 大数据平台功能 1.2 1.4.1 系统功能1.2 1.4.2 管理功能1.4 1.4.3 工程性功能1.5 2． 关键挑战和应对举措 2.1关键技术挑战和应对举措 1.6 2.1.1 高效分布式数据管理机制1.6 2.1.2 高性能多表实时复杂关联查询1.8 2.1.3 基于云计算平台的分布式 SQL 解析1.9 2.2关键工程化挑战和应对举措 2.0 2.2.1 系统可维护性2.0 2.2.2 系统可靠性2.1 2.2.3 系统可移植性2.3 3． 构建大数据平台的应用 保障体系与基础设施 25 整合基础信息资源 26 搭建城市公共信息平台 26 智慧建设与宜居 26 城市建设管理 26 城市功能提升 28 智慧管理与服务 28 政务服务 28 基本公共服务 29 专项应用 32 智慧产业与经济 38 产业规划 38 产业升级 40 大数据平台项目建设方案 大数据平台建设目标与内容 建设目标 国家工信部软件服务业司司长陈伟为大数据概括出四方面特征，“首先在于体量大，是一个数据全集的概念， 第二是类型多，包括结构化数据、半结构化数据、非结构化数据等多种类型，其中视频数据在目前占到了 90%以上的总 额；第三要求速度快，需要以秒级为目标进行实时动态处理。最后在于价值密度，由于大量有用和可能没用的数据并存，遍地是金子，又遍地是沙子”，所以大数据的目的就在于从庞大的数据集合中找寻有价值的数据和知识，通过分析挖掘为各行业提供真正的智慧，“可以说 21 世纪是‘数据钻出石油’的时代。” 我们要将各种系统的各种有用数据汇集起来，通过一个统一的平台管理与分析，这就是大数据平台的最大优势。 本期建设内容 大数据平台的发展是基于云计算平台不断升级并向数据库大数据应用靠拢的一个过程，可更好的适应关系型计算模式，拥有不同结构数据的综合管理、提供同时支持在线分析处理（OLAP）和在线事务处理 (OLTP) 能力以及多存储模式等，会在未来发挥不可估量的作用。 大数据平台设计 大数据平台的设计原则 大数据平台是一种面向大数据应用的云计算数据存储与管理平台，该平台基于关系数据模型，访问方式也是简化版本的 SQL 语言规范，对 SQL 语言规范支持度达到 80%以上，可管理的数据规模达到万亿条记录级，容量可达到 PB 级，同时该平台支持大数据的 OLTP（联机事务处理）和 OLAP（联机分析处理），，数据入库速度到达每秒千兆字节级，数据关联查询响应时间达到秒级，支持自动容错和动态扩展，在平安城市、智能交通、智能电网、互联网数据处理、移动信令处理等领域构建典型应用并进行大规模产业推广。 数据中心建设遵循以下原则： 体系架构 分布式并行计算、多副本机制、没有单点的高可靠体系架构面向行业应用的软硬件一体化整合 系统功能 结构化、半结构化、非结构化数据的管理和搜索 主流格式机器数据的实时采集、解析、管理和搜索多存储模式 高效的分布式 SQL 解析器支持事务机制 实时及用户行为数据的高效管理和分析 创新的多检索引擎机制，提供开放的二次开发接口3）性能指标 PB 级的海量数据管理 海量用户的高并发实时访问（千万级用户、万级并发） 相对较低的资源消耗 充分释放硬件的潜力（多核、大内存等） 4）管理功能 大规模部署的自动化和运行状态监控 对核心数据管理服务的高可用技术研究与实施5）工程性功能 高性能分布式环境的构建与部署 负载均衡分布式环境的构建与部署 大数据平台架构 1.3.1 体系架构 如上图所 如 上图所 示，大数据 图 4 大数据平台架构大数据平台的结构可以分为以下几部分： 用户接口：包括 DDL JDBC，DML API，DDL Shell,DML Shell，数据导入 API 数据接收模块：单条多条记录入库。索引模块：索引生成。 SQL 解析器：对 SQL 语句解析为一个大数据平台的一个作业。任务执行器：处理一个大数据平台作业的子任务。 元数据管理器：大数据平台的元数据是在 mysql 中进行管理的。 用户接口 用户接口主要有四个：JDBC，数据查询 API，Shell，数据导入 API。JDBC 主要执行数据的定义操作，即建立数据库、建表、建分区，对数据库、表和分区的删改等；数据查询 API 主要执行数据查询的 SQL 语句，暂不支持增删改； 数据立方提供友好的 shell 交互界面，shell 支持数据库、表的增删改以及数 据查询的 SQL 语句；数据导入 API 的作用是表记录