01_流式计算基础_第1天(Storm是什么、Storm核心组件、Storm编程模型).docx

课程介绍 课程名称： Storm 是什么 课程目标： 通过该课程的学习能够了解离线计算与流式计算的区别、掌握 Storm 框架的基础知识、 了解流式计算的一般架构图。 课程大纲： 1 、 离线计算是什么？ 2 、 流式计算是什么？ 3 、 流式计算与离线计算的区别？ 4 、 Storm 是什么？ 5 、 Storm 与 Hadoop 的区别？ 6 、 Storm 的应用场景及行业案例 7 、 Storm 的核心组件(重点掌握) 8 、 Storm 的编程模型(重点掌握) 9 、 流式计算的一般架构图(重点掌握) 背景介绍 Storm 背景介绍 课程内容 1、离线计算是什么？ 离线计算：批量获取数据、批量传输数据、 周期性批量计算数据、数据展示 代表技术： Sqoop 批量导入数据、 HDFS 批量存储数据、 MapReduce 批量计算数据、 Hive 批量计算数据、 ***任务调度 1 ，hivesql 2、调度平台 3 、Hadoop 集群运维 4、数据清洗(脚本语言) 5、元数据管理 6、数据稽查 7、数据仓库模型架构 2、流式计算是什么 流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示 代表技术： Flume 实时获取数据、 Kafka/metaq 实时数据存储、 Storm/JStorm 实时数据 计算、 Redis 实时结果缓存、持久化存储(mysql)。