TDH大数据平台实验_09_Slipstream流处理过程.pdfVIP

平台认证数据工程师培训 课堂实验 一、基本信息 文档编号 文档版本 1.0 实验名称 Slipstream 流处理过程 所属课程 第13 讲 实时流处理引擎Slipstream 认证等级 数据工程师 （初级） 授课形式 上机实验 实验批次 第9 次 / 共11 次 二、实验目的  掌握StreamSQL 使用方法。  掌握Slipstream 流处理的基本过程。  理解输入流表、衍生流表、结果表和流任务的关系。 三、实验准备  安装Waterdrop ，StreamSQL 语句在Waterdrop 中运行。  同组学员可同时开展实验，数据库、Kafka Topic、流表都以学员姓名拼音为后缀，例如： db_zhangsan、accesslog_zhangsan 。 四、实验内容 1、创建Kafka Topic  任务：创建Kafka Topic ，作为输入流表的数据源。  步骤 Linux ： // 切换到Kafka bin 目录 1. cd {TDH_Client 路径}/kafka/bin // 创建Kafka Topic ，分区数为4 ，副本数为2 2. ./kafka-topics.sh --create --topic accesslog_zhangsan --zookeeper tdh-85:2181,tdh-86:2181, tdh-87:2181 --partitions 4 --replication-factor 2 // 查看Topic 是否创建成功 3. ./kafka-topics.sh --list --zookeeper tdh-85:2181,tdh-86:2181,tdh-87:2181 1 平台认证数据工程师培训 2 、创建输入流表  任务：基于Kafka Topic 创建输入流表。  步骤 SQL： // 基于Kafka Topic 创建输入流表accesslog_zhangsan 1. create stream accesslog_zhangsan(ip string, url string, time timestamp) row format delimited fields terminated by , tblproperties( topic=accesslog_zhangsan, kafka.zookeeper=tdh-85:2181,tdh-86:2181,tdh-97:2181, kafka.broker.list=tdh-85:9092,tdh-86:9092,tdh-87:9092); 3 、创建衍生流表  任务：基于输入流表创建衍生流表。  步骤 SQL： // 基于输入流表创建衍生流表waccesslog_zhangsan ，窗口Length 和Slide 为10 秒 1. create stream waccesslog_zhangsan as select * from accesslog_zhangsan streamwindow sw as (length 10 second slide 10 second); 4 、创建结果表  任务：创建Inceptor 结果表，用于存储流处理的结果。  步骤 SQL： // 创建Inceptor 表，用于存储流处理结果 1. use db_zhangsan; 2. create table result(url string, count int); 5 、启动流任务  任务：将基于衍生流的统计结果写入Inceptor 结果表，该操作启动流任