大数据技术与实时计算.docxVIP

大数据技术与实时计算

1.概述

1.1什么是大数据

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。它通常具有以下四个基本特征（4V特征）：

Volume（体量）：数据量巨大，从TB级别跃升到PB甚至EB级别。

Velocity（速度）：数据生成和处理的速度极快，需要快速响应。

Variety（多样）：数据类型繁多，包括结构化数据、半结构化数据和非结构化数据（如日志、视频、音频）。

Value（价值）：数据价值密度低，但蕴含巨大的商业或科研价值。

1.2什么是实时计算

实时计算是指对数据流进行即时、连续的处理和分析，以获取最新的洞察。它旨在缩短数据从产生到产生价值的时间延迟，通常要求在秒级甚至毫秒级内完成数据的处理和反馈。

2.实时计算架构模式

2.1Lambda架构

Lambda架构由NathanMarz提出，旨在解决大规模数据处理中的可靠性、低延迟和可扩展性问题。

三层结构：

批处理层：负责处理历史数据，维护数据的可靠备份，输出“真理”视图。

速度层：负责处理实时数据流，对批处理层的结果进行增量更新，输出“当前视图”。

服务层：对上述两层的结果进行查询服务。

优点：结合了批处理的高容错性和流处理的低延迟。

缺点：维护两套代码逻辑，开发和维护成本高。

2.2Kappa架构

Kappa架构由JayKreps提出，核心