TDH大数据平台培训_第13讲_实时流处理引擎Slipstream.pdfVIP

实时流处理引擎Slipstream 范 颖 捷 | 2018.05 星 环 科 技 星 环 科 技 1 Slipstream基础 2 StreamSQL DDL 目录 3 StreamSQL DML CONTENTS 4 事件驱动的流处理 5 实战案例 1 chapter Slipstream基础  背景介绍  Slipstream简介  Slipstream基本概念  StreamSQL vs. 普通SQL 1.1 背景介绍 Slipstream基础  批处理 • 批量处理 • 调度延时 • 处理延时  流处理 • 流式处理 • 低延时 星 环 科 技 1.1 背景介绍 Slipstream基础  批处理计算框架 •MapReduce • Spark Core • Inceptor •Flink Dataset  流式计算框架 • 基于事件驱动 －Storm Core －Slipstream －Flink DataStream • 基于微型批处理（Micro-batch ） －Spark Streaming －Slipstream －Storm Trident 星 环 科 技 1.1 背景介绍 Slipstream基础  流式计算框架存在的问题 开发难 调试难 运维难  入门门槛极高，有经  问题多  产品化程度差，需要 验的程序员未必能胜 丢数 有Spark、Hadoop 任 无结果 等经验的专家进行运  迁移成本高，原有业 无响应 维 务基于SQL/PLSQL  信息少 星 环 科 技 1.2 Slipstream简介 Slipstream基础  定位 • 融合事件驱动与微批处理的实时流