Kafka用户日志实时统计分析与设计.pdfVIP

table{border-collapse:collapse;}table,th,td{border:1pxsolid#000;}

极客学院

Kafka用户日志上报实时统计之分析与设

计

项目整体概述

-Producer模块分析

-Consumer模块分析

项目整体设计

项目整体概述

项目整体概述

本包含以下知识点:

•简述项目的背景

•分析项目的目的

项目整体概述一简述项目的背景

背景:

用户行迹

企业运营

项目整体分析一分析项目的目的

通过对项目的分析，可以初步得到以下目的：

•实时掌握用户动态

根据实时统计结果，适度推广

统计分析效果，快速合理的调整

Producer模块分析

Producer模块分析

本包含以下知识点:

•分析生产数据

•Flume到Kafka流程分析

Producer模块分析—分析生产数据

在用户上报日志中，每条日志记录代表用户的一次活动状态，示例数据如下：

37yx12345[21/July/201513:25:45]chrome.appid_5

“.***.cn/sort/channel/2085.html”

Producer模块分析—分析生产数据

示例数据所包含的信息量，如下图所示：

Producer模块分析—Flume到Kafka流

程分析

数据源生产流程分析，如下图所示：

Consumer模块分析

Consumer模块分析

本包含以下知识点:

•消费数据分析

•Kafka到Storm流程分析

Consumer模块分析—消费数据分析

消费数据源统计的KPI指标，如下图所示：

Consumer模块分析-Kafka到Storm流

程分析

数据源消费流程分析，如下图所示：

项目整体设计

项目整体设计

本包含以下知识点:

项目详细设计流程

KPI指标设计

项目整体设计—项目详细设计流程

项目详细设计流程，如下图所示：

项目整体设计—KPI指标设计

KPI指标设计，如下图所示：

本课程我们项目进行了整体分析，并指导大家去分析Kakfa的Producer模块和Consumer

模块，以及帮助大家去设计项目的开发流程等知识，应该掌握以下知识：

•项目的背景和目的

•分析Producer模块和Consumer模块

•项目的整体开发流程

KPI指标的设计

有了这些知识作为基础会使得后续的学习更加容易，如果想继续提升，你可以继续在极客

学院学习《Kafka用户日志上报实时统计之编码实践》课程。

极客学院

最大的IT职业教育平台