环保项目解决方案书.docVIP

环保数据汇聚处理项目 解决方案书 目 录 1 系统总体设计 1 1.1 云计算系统设计方案概述 1 1.1.1 系统基本需求及功能 1 1.1.2 主要建设目标和建设原则 2 1.1.3 系统的主要技术特点 2 1.1.4 系统的主要性能指标 3 1.2 系统总体构架 5 1.2.1 系统基本组成与构架 5 1.2.2 系统功能构架 5 1.2.3 系统总体构架与功能模块 10 1.3 系统基本功能与处理方案 11 1.3.1 交管数据入库功能与处理方案 11 1.3.2 数据存储功能与处理方案 13 1.3.3 查询分析功能与处理方案 14 1.4 系统可靠性与扩展性 15 1.4.1 系统可靠性 15 1.4.2 系统扩展性 17 1.5 系统设计性能 18 1.5.1 交管数据流量处理能力 18 1.5.2 数据存储能力 18 1.5.3 查询分析计算性能 19 1.6 定制开发方案 19 2 硬件云平台建设方案 22 2.1 交换机详细指标 22 2.2 云存储集成套件详细指标 22 2.3 云计算/存储主控制服务器节点详细指标 23 2.4 云计算/存储从服务器节点详细指标 23 2.5 数据采集服务器详细指标 24 2.6 应用服务器详细指标 24 2.7 数据库服务器详细指标 25 2.8 管理控制台服务器详细指标 25 3 软件系统设计与关键技术方法 27 3.1 系统软件平台 27 3.2 历史数据汇聚上报处理流程 27 3.3 实时数据入库流程 28 3.4 数据存储子系统 29 3.4.1 海量数据分布式数据存储构架 29 3.4.2 适应应用需求的混合存储策略 31 3.4.3 HDFS数据存储 31 3.4.4 HBase数据存储 34 3.4.5 Database数据存储 36 3.4.6 数据存储的可靠性 38 3.4.7 数据压缩 39 3.5 数据查询与统计分析子系统 41 3.5.1 数据查询与统计分析系统基本构架 41 3.5.2 交管数据查询功能与用户界面 41 3.5.3 实时报警功能与用户界面 42 3.5.4 车辆轨迹回放功能与用户界面 43 3.6 基于云方案的交管数据查询索引与查询优化技术 43 3.6.1 基于分布式数据库的交管数据查询索引处理方案 43 3.7 交管数据处理集群的可靠性与负载均衡设计 44 3.7.1 负载均衡处理机的单点失效容错处理 44 3.7.2 查询处理机的单点失效容错处理 48 3.8 计算与存储集群的可靠性与负载均衡设计 49 3.8.1 计算与存储集群Master单点失效容错处理 49 3.8.2 计算与存储集群的负载均衡处理 55 3.8.3 HDFS的可靠性设计 58 3.8.4 HBase可靠性设计 60 3.8.5 MapReduce计算可靠性设计 62 3.9 查询统计计算可靠性与负载均衡设计 64 3.9.1 基于Zookeeper的单点失效和负载均衡设计 64 3.10 系统安全性设计 66 3.10.1 安全保障体系框架 66 3.10.2 云计算平台的多级信任保护 68 3.10.3 基于多级信任保护的访问控制 72 3.10.4 云平台安全审计 74 3.10.5 云计算综合安全网关 77 4 实施方案 81 4.1 时间进度 81 4.2 测试和验收 81 4.3 技术支持服务 81 4.4 培训服务 82 图表 1 “3.20”道路图像监控数据汇聚处理云平台的基本组成与构架 5 图表 2 “3.20”道路图像监控数据汇聚处理云平台总体构架与功能模块图 10 图表 3 “3.20”道路图像监控数据汇聚处理云平台架构 12 图表 4 数据存储处理架构 13 图表 5 交管数据接入 14 图表 6 分布式文件存储系统吞吐量指标 19 图表 7 系统软件结构 27 图表 8 数据汇聚上报处理流程 28 图表 9 实时数据入库流程 28 图表 10 分布式计算流程 29 图表 11 Hadoop结构 30 图表 12 HDFS结构 33 图表 13 HDFS Namenode、DataNode和客户端们之间的交互 34 图表 14 HDFS数据压缩与组织 40 图表 15 数据查询子系统构架 41 图表 16 用户界面图 42 图表 17 实时报警功能 42 图表 18 车辆轨迹回放 43 图表 19 负载均衡机分布图 45 图表 20 负载均衡机宕机预案 46 图表 21 Master节点宕机预案 47 图表 22 查询处理单点失效容错处理 48 图表 23 Master单点失效容错处理 49 图表 24 AvatarNode0以Pimary启动过程 51 图表 25 AvatarNode1以Standby启动过程 52