3分钟构建一条StreamingDataPipeline.docxVIP

?

?2024,AmazonWebServices,Inc.或其附属公司。保留所有权利。

KS273

KS27

3分钟构建一条StreamingDatapipeline

张盼富

解决方案架构师亚马逊云科技

数据分析师的无奈……（场景虚构）小张，我们公司的报表只能看到前1天的数据，太慢了。听开发小王说，现在我们的数据已经实时写入Kafka

数据分析师的无奈……（场景虚构）

小张，我们公司的报表只能看到前1天的数据，太慢了。

听开发小王说，现在我们的数据已经实时写入Kafka了，为什么后续的数据处理还这么慢？

BOSS，你了解我的……我更擅长写SQL，做数据分析。

Boss

我不太会基于Kafka做数据的流式处理。要不你让我学个3-5个月……

3-5个月？我刚参加完亚马逊云科技的中国峰会

亚马逊云科技的架构师说，3分钟，写写SQL，就可以搞定！

3分钟？还只需要写SQL？BOSS，我那赶紧去学习一下！

小张

数据分析师

AmazonKinesisDataStreams传统的流式处理亚马逊云科技的数据服务，我还是了解一点的，我现在就在使用Redshift做数据处理如果要实现流式数据消费到Redshift，要么使用EMR的Flink/Spark要么使用Firehose……小张数据分析师AmazonReds