199-日志处理与分析平台建设方案.docxVIP

无线大数据系统建设方案

日志处理与分析平台建设方案

目录

TOC\o1-3\h\z\u1 背景 1

1.1 大数据时代的高校信息化 1

1.2 日志数据蕴含巨大价值 2

2 日志处理与分析平台总体规划 3

2.1 平台规划 3

2.2 功能规划 3

3 日志处理与分析平台建设方案 4

3.1 日志处理与分析平台设备架构 4

3.1.1 主节点和备份主节点 4

3.1.2 管理节点 4

3.1.3 接口节点 4

3.1.4 计算节点 5

3.2 日志处理与分析平台底层技术栈 5

3.2.1 分布式持久化数据存储——HDFS 5

3.2.2 分布式实时数据库——HBase 6

3.2.3 分布式资源调度管理——YARN 6

3.2.4 交互式SQL引擎——Hive 6

3.2.5 内存计算——Spark 6

3.3 日志处理与分析平台实现流程 7

3.4 自助式日志分析工具－Immortal 8

3.5 功能描述 8

3.5.1 日志源管理 8

3.5.2 字段解析 9

3.5.3 数据关联 10

3.5.4 计算查询 10

3.5.5 日志检索 10

3.5.6 可视化输出 11

3.5.7 主题数据应用 12

3.6 功能特性 12

3.7 唤醒沉睡日志价值 12

4 日志应用场景 14

4.1 学生数据画像 14

4.1.1 个人资料 15

4.1.2 综合预警 15

4.1.3 选课与成绩 16

4.1.4 获奖情况 18

4.1.5 校内轨迹 18

4.1.6 一卡通消费 19

4.1.7 图书借阅 20

4.1.8 网络使用 21

4.1.9 数据源要求 21

4.2 学生失联预警 22

4.2.1 预警模型设计 22

4.2.2 系统实现 23

4.2.3 数据清单 27

4.3 无线考勤分析 27

4.3.1 产品简介 27

4.3.2 使用人群 28

4.3.3 功能特性 28

4.3.4 数据源 30

4.4 校园公共安全 31

4.4.1 产品简介 31

4.4.2 使用人群 32

4.4.3 功能特性 32

4.5 网贷行为分析 37

4.5.1 产品简介 37

4.5.2 使用人群 37

4.5.3 功能特性 37

5 硬件配置 41

5.1 应用服务器 41

5.2 Hadoop集群 41

5.3 ElasticSearch集群 42

5.4 数据规模与存储容量建议 42

6 我们的用户 43

PAGE30

背景

大数据时代的高校信息化

“互联网+”时代的到来，互联网、社交网络、物联网、移动互联网、云计算等相继进入人们的日常工作和生活中，并潜移默化改变着我们的意识形态。高校信息化被迫要求扮演更加多元的角色，这也为高校的信息化建设提出了更高的要求。不仅仅是各个业务系统的数据需要对接，同时随着移动互联网的不断发展以及传感设备在校园内的普及，各种半结构化数据(设备产生的日志)和非结构化数据(监控的视频、照片以及各种文本数据)也在大量产生，这些是传统的业务系统所处理和承载不了的数据，但是对于我们来说又是非常有价值的。如何有效整合当前这些业务系统、传感器以及移动终端所产生的数据，成为各个高校从信息化向智慧化迈进所需要面对的首要问题。另外一方面，整个社会环境的发展变化也对校园服务质量及学校声誉价值管理提出了较高的要求，这些面向感知的分析均需要大量校园内部数据及外部互联网数据的支持。

大数据作为信息技术发展的新趋势，在商业领域百炼成金后，已逐渐渗透到各行各业，成为驱动生产业务发展的重要因素。教育部高校“十三五”规划明确提出要建设“智慧校园“，而这些都离不开数据及大数据相关技术，只有数据的量越大、维度越多，我们才能够分析出精准的信息。

在数据挖掘驱动教育，变革教学的“互联网+”时代，教育领域同样蕴藏着具有广泛应用价值的海量数据，在对数据挖掘和自学习等关键技术的基础上，结合共词分析和教育博客等社会化网络教育数据，构建教育领域的相关学习分析和数据挖掘模型，探索教育变量之间的相关关系，实践大数据的教育应用，为教育教学提供有效的决策支持服务，促进教育教学的变革与创新，成为了我们十三五期间构建“智慧校园”新的课题。

日志数据蕴含巨大价值

日志记录了IT系统的数据，是大数据的重要来