【技术研究】大数据方案.pptVIP

消息接收 消息接收 消息接收 实时计算 Kafka spout bolt …… bolt spout bolt …… bolt spout bolt …… bolt Adapter Kafka 高速缓存 redis mc 安徽 云南 青海 数据接入方案-storm 车牌、终端对应关系 g_vbox 其他应用 其他应用 storm集群 消息接收 业务处理1 业务处理n 结果落地 消息接收 消息接收 消息接收 实时计算 Kafka 接收 运算1 …… 结果落地 Adapter Kafka 高速缓存 redis mc 安徽 云南 青海 数据接入方案-sparkstreaming 车牌、终端对应关系 g_vbox 鹰眼 其他应用 spark集群 接收 运算1 …… 结果落地 接收 运算1 …… 结果落地 Kafka 分布式文件存储（HDFS） YARN Hbase MR hive spark impala zookeeper 离线分析 实时查询 数据存储整体方案 轨迹查询 里程计算 分析统计 …… 平台管理(CM) 数据采集(Flume) 说明： 1、Flume直接采集消息中间件kafka消息，并存储至Hbase中，提供业务查询能力； 2、分析工具（hive、spark、impala）通过读取hbase存储在hdfs上数据，提供分析统计能力； 3、Hbase支持动态扩展，快速修改表结构，提