数字化项目系统资源规划设计方案 .pdf

数字化项目系统资源规划设计方案

目录

第1章、系统规划与平台建设4

1.1、存储规划4

1.1.1、数据库存储4

1.1.2、视频云存储8

1.2、数据库规划16

1.2.KOracle数据库规划17

1.2.2、数据对象的命名规范17

1.2.3、Hbase数据库规划23

1.3、主机规划25

1.3.1、采集主机规划25

1.3.2、Hadoop集群主机规划26

1.3.3、Storm集群主机规划28

1.3.4、统一消息服务平台主机规划28

1.4、云平台建设29

1.4,1、云平台总体架构30

1.4.2、云平台资源池设计32

1.4.3、虚拟数据中心VDC设计34

1.4.4,存储资源池设计38

1.4.5,配置清单41

第2章、大数据支撑平台系统的性能设计要求43

2.1、系统的处理能力43

2.2、系统的可用性43

2.3、系统的安全性44

第1章、系统规划与平台建设

1.1＞存储规划

1.1.1、数据库存储

＞数据库存储规模

1）基础数据

存储的基础数据包含城市路网数据，公交路数据，公交车辆数据,

长途客运数据，出租车数据，危化品数据，共享单车数据，火车客运

数据，民航客运数据，交通资产数据，出行需求数据，公路费用数据，

气象数据，监控设备数据，追逃车辆数据等。

我市主要路口数目前按400个估算，各个路口以及关联车道对应基础

数据量为1KB,计为400KBo公交路按200条估算每条路数据为

1KB,计为200KB,现有公交车辆数据为2000辆，每辆公交车辆基础

数据为100字节，计为20KB。长途客运数据，出租车数据，危化品数

据，共享单车数据，火车客运数据，民航客运数据现估算为5MB,由

于相关客运数据每日变动，故此数据为每日递增。交通资产数据，包

含种类较多，其数据为后期交通资产管理支撑数据，为40MB。目前我

市人口为350万，按照1%抽样，每个样本为200字节，故计为MB。

公路费用数据，相对稳定，且数量较少，计为HKBo气象数据计为

100B（每日变化），每个路口平均监控设备数为5个，每个监控设备

基础数据为100B,故计为200KB,追逃车辆数据，故为1KB。

以上数据为基础数据相关估算，合计为50M,且相关客运数据按每日

5MB数据量增长。

2）实时计算数据

2.1）城市交通运行数据

城市交通运行数据为交通运行指标性数据按400条主要路道计算，每

条路道100字节，10分钟更新一次（24小时）。合：400*100*6

*24/（1000*1000）=6MB

2.2）公交车实时位置数据

我市2000辆公交车，按每天6：00〜23:00共15小时运行时间，（每

秒钟都上报公交车定位消息），每条公交车行驶轨迹按100字节计算,

按月存储。每天的公交车消息数量=2000*15*60*60=1.08亿。每

日的公交车行驶轨迹存储=1.08亿*100字节/1024/1024/1024=10G

2.3）公交（地铁刷卡）数卡数据

目前公交车辆为2000辆，未来将建成地铁，公共出行人数将大幅度

增加。按照人均出行一次（一个来回）计算，每日产生的刷卡数据量

为：350W*100B*2=60MBo

2.4）长途客车实时数据

长途客车按500辆估算，每天12小时运行时间，其每日产出的数据

量为500*12*60*60*100B=2GB

2.5）出租车实时数据

出租车按7000辆估算，每天24小时运行时间，其每日产出的数据量

为7000*24*60*60*100B=56GB

2.6）危化品车实时数据

出租车按100辆估算，每天12小时运行时间，其每日产出的数据量

为100*12*60*60*100B二400MB

2.7）