实时交通数据接收与Redis存储分析.pdfVIP

实时交通大数据分析预测

‑‑数据接收并保存

数据接收并保存

_

我们通过生产者生产了形如{monitorid:0001,speed:049}的json格式

数据据，接下来创建消费者数据并保存到redis拍卖。

一、分析思路

(1)新建maven工程:consumer

(2)配置maven依赖

（3）测试redis（4）编写redis操

作工具类：RedisUtil

(5)快速kafka中的数据，实时保存到redis中，并且按照分钟和点聚合

车和车辆个数

二、项目流程

(1)创建一个名为consumer的maven模块：

在新建的项目中ct中右键新建一个模块,选择maven,这里将模块命名为

实时交通大数据分析预测

--数据接收并保存

数据接收并保存

我们通过producer生产了形如{monitor_id:0001,speed:049}的json格式数

据，接下来创建consumer数据并保存到redis之中。

一、思路分析

（1）新建maven工程：consumer

（2）配置maven依赖

（3）测试redis

（4）编写redis操作工具类：RedisUtil

（5）kafka中的数据，实时保存到redis中，并且按照分钟和点聚合车速

和车辆个数

二、项目流程

（1）创建一个名为consumer的mavenmodule:

在新建的project中右键new一个module，选择maven，这里将module命名为

Consumer，创建完成后右键consumer选择添加框架支持，因为我们的代码最终使

用scala语言编写，在里面选择scala使其支持scala：

图1

(2)创建scala文件夹：

在main文件夹下新建一个名为scala的文件夹并标记为SourcesRoot:

图2

(3)配置maven依赖：

consumer，新建完成后右键consumer选择addframeworksupport，因为我们的代码最终

使用scala语言编写，在里面选择scala使得其支持scala：

图1

（2）创建scala文件夹：

在main文件夹下新建一个名为scala的文件夹并标记为SourcesRoot:

图2

（3）配置maven依赖：

需要用到kafka‑client,fastjson的api，同时由于要使用spark进行实时处理，并存

储到redis里面，因此还需要调用spark‑core,spark‑streaming,redis的相关api，修

改pom.xml，添加依赖：