流计算——流计算处理流程.pptxVIP

流计算—— 流计算处理流程;本文来自：大数据技术原理与应用——概念、存储、处理、分析与应用 作 者：林子雨 出版社：人民邮电出版社 版权说明 若作者对本资料使用持有异议，请及时联系本网站，我们将在第一时间妥善处理。;1 数据处理流程概述;1 数据处理流程概述;数据实时采集阶段通常采集多个数据源的海量数据，需要保证实时性、低延迟与稳定可靠 以日志数据为例，由于分布式集群的广泛应用，数据分散存储在不同的机器上，因此需要实时汇总来自不同机器上的日志数据 目前有许多互联网公司发布的开源分布式日志采集系统均可满足每秒数百MB的数据采集和传输需求，如： Facebook的Scribe LinkedIn的Kafka 淘宝的Time Tunnel 基于Hadoop的Chukwa和Flume;2 数据实时采集;3 数据实时计算;4 实时查询服务;4 实时查询服务