大数据平台与编程第8章 流数据模型.pptxVIP

第8章流数据模型

?流数据目录?流式架构?本章小结?本章习题?流式架构的组成部分

流数据流数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下,流数据可被视为一个随时间延续而无限增长的动态数据集合。应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域。流数据需要按记录或根据滑动时间窗口按顺序进行递增式处理，可用于多种分析，包括关联、聚合、筛选和取样。这些分析帮助企业深入理解业务和客户行为，如服务使用、服务器活动、网站流量、地理位置等，使企业能够快速响应市场变化。

流数据流数据具有四个特点：1）数据实时到达；2）数据到达次序独立，不受应用系统所控制；3）数据规模宏大且不能预知其最大值；4）数据一经处理，除非特意保存，否则不能被再次取出处理，或者再次提取数据代价昂贵。流数据处理通常从简单的数据收集和基本计算开始，逐步发展到更复杂的近实时处理和高级数据分析。随着技术的发展，流数据处理不仅包括生成报告和警报，还涉及应用机器学习算法和复杂的事件处理算法，以提取更深层次的洞见

?流式架构目录?流数据?本章小结?本章习题?流式架构的组成部分

流式架构流式架构是一个软件组件框架，用于从多个源摄取和处理大量流数据。传统的数据解决方案侧重于批量写入和读取数据，而流式架构在数据生成时立即使用它，将其持久化到存储中，并且每个用例可能包括各种附加组件——例如用于实时处理的工具、数据操纵和分析。在传统大数据架构的基础上，流式架构直接省去了批处理，数据全程以流的形式处理，所以在数据的接入端没有了ETL，转而替换为数据通道。经过流处理架构的数据，以消息的形式直接推送给了消费者。虽然有一个存储部分，但是该存储更多以窗口的形式进行存储，所以存储发生在外围系统。

?流式架构的组成部分目录?流数据?本章小结?本章习题?流式架构

流式架构的组成部分预警工具数据库传感器文件网页数据通道流处理结果存储消息队列报表服务分析工具流式架构的组成部分如图所示，包括数据源、数据通道、流处理、存储和应用。

流式架构的组成部分数据源对于流式架构来说，数据的来源可以来自App的日志，网页端，服务器端，数据库以及传感器等流数据。数据通道这是从称为生产者的源获取数据的元素，将其转换为标准消息格式，并持续进行流式传输。然后其他组件可以侦听并使用代理传递的消息。第一代消息代理，例如RabbitMQ和ApacheActiveMQ，依赖于面向消息的中间件(MOM)范式。后来，出现了更适合流范式的超高性能消息传递平台（通常称为流处理器）。两种流行的流处理工具是ApacheKafka和AmazonKinesisDataStreams。

流式架构的组成部分ProducerProducerKafkaClusterTopicPartitionPartitionPartitionTopicPartitionPartitionPartitionTopicPartitionPartitionPartitionConsumerConsumerConsumerProducer消息代理/流处理器

流式架构的组成部分流处理流处理是一种重要的大数据处理手段，其主要特点是其处理的数据是源源不断且实时到来的，如图所示。分布式流处理是一种面向动态数据的细粒度处理模式，基于分布式内存，对不断产生的动态数据进行处理。其对数据处理的快速，高效，低延迟等特性，在大数据处理中发挥越来越重要的作用。ProducerConsumerRecordRecordRecordRecordRecordDataStream

流式架构的组成部分流处理的优点：能够处理永无止境的事件流：一些数据自然地以这种方式构建。传统的批处理工具需要停止事件流，捕获成批的数据并合并这些批次以得出总体结论。在流处理中，虽然合并和捕获来自多个流的数据具有挑战性，但它可以让您从大量流数据中获得即时洞察。实时或近实时处理：大多数组织采用流处理来实现实时数据分析。虽然高性能数据库系统也可以进行实时分析，但数据通常适用于流处理模型。

检测时间序列数据中的模式：随着时间的推移检测模式，例如寻找网站流量数据的趋势，需要持续处理和分析数据。批处理使这变得更加困难，因为它将数据分成批次，这意味着某些事件被分成两个或多个批次。轻松的数据可扩展性：不断增长的数据量可能会破坏批处理系统，需要您配置更多资源或修改架构。现代流处理基础设施具有超可扩展性?，能够使用单个流处理器每秒处理千兆字节的数据。这使您可以轻松处理不断增长的数据量，而无需更改基础架构。

流式架构的组成部分流处理与批处理比较：批处理可用于计算对不同数据集的任意查询。它一般用于计算从所含的所有数据得到的结果，并实现对大数据集的深入分析。相反，流处理则需要提取一个数据序列，增量式更新指标、报告和汇总统计