最佳实践-华为云帮助中心-文档.pdfVIP

MapReduce 服务 最佳实践 发布日期 2019-01-30 MapReduce 服务 最佳实践 目 录 目 录 1 使用 Spark 实现车联网车主驾驶行为分析 1 2 基于 MRS 实现道路交通和车辆状况数据分析8 2.1 场景概述 8 2.2 实现方法 9 2.2.1 申请虚拟私有云 9 2.2.2 申请MRS 流式集群10 2.2.3 使用 Kafka 实时收集数据 14 2.2.4 启动 Storm 分析套牌车程序 16 2.2.5 启动 Storm 计算卡口流量程序 18 2.2.6 申请MRS 分析集群19 2.2.7 分析卡口流量和车辆出行路径 21 2.2.8 通过 WebUI 显示数据和报告27 2019-01-30 ii MapReduce 服务 最佳实践 1 使用 Spark 实现车联网车主驾驶行为分析 1 使用Spark 实现车联网车主驾驶行为分析 本手册基于华为云MapReduce服务实践所编写，用于指导您使用Spark实现车主驾驶行 为分析。 本实践基本内容如下所示： 1. 场景描述 2. 第一步：创建集群 3. 第二步：准备Spark样例程序和样例数据 4. 第三步：创建作业 5. 第四步：查看作业执行结果 详细视频教程请参见：/videos/ 0c3cf8d12547469691b63bd1d1aba8bf 场景描述 目的： 了解MRS 的基本功能，利用MRS服务的Spark组件，对车主的驾驶行为进行分析统计， 得到用户驾驶行为的分析结果。 场景： 本次实战的原始数据为车主的驾驶行为信息，包括车主在日常的驾驶行为中，是否急 加速、急减速、空挡滑行、超速、疲劳驾驶等信息。通过Spark组件的强大的分析能 力，分析统计指定时间段内，车主急加速、急减速、空挡滑行、超速、疲劳驾驶等违 法行为的次数。 创建集群 步骤1 登录华为云管理控制台。 步骤2 在“服务列表”中，选择“EI企业智能 MapReduce服务”。 步骤3 单击页面右上角“购买集群”，进入购买集群页面。 参见表1-1配置集群基本信息。 2019-01-30 1 MapReduce 服务 最佳实践 1 使用 Spark 实现车联网车主驾驶行为分析 表1-1 配置集群基本信息 参数名称 配置方式 计费模式 按需计费 当前区域