《数据实时处理flink》课件——第一章 大数据技术概述.pptxVIP

大数据技术概述;牛津大学教授维克托·迈尔-舍恩伯格（ViktorMayer-Sch?nberger）指出，大数据带来的信息风暴正在改变我们的生活、工作和思维。理解大数据并对这些数据进行有效的处理和分析是企业和政府的机遇，更是一种挑战。数据流的处理必须满足高吞吐和低延迟的特性，ApacheFlink（以下简称Flink）是一种针对数据流的大数据处理框架。;读完本章之后，读者可以了解以下内容。

大数据的特点、大数据分而治之的处理思想。

批处理和流处理的区别。

流处理的基础概念。

流处理框架的技术更迭和架构演进。

Flink开发的常用编程语言。

;什么是大数据

从批处理到流处理

代表性大数据技术

从Lambda到Kappa

流式处理基础概念

编程语言的选择

;大数据的5个V

Volume：数据量大

Velocity：数据产生速度快

Variety：数据类型繁多

Veracity：数据真实性

Value：数据价值;单台计算机无法处理所有数据，使用多台计算机组成集群，进行分布式计算。

分而治之：

将原始问题分解为多个子问题

多个子问题分别在多台计算机上求解

将子结果汇总

比较经典的模式和框架：

MPI

MapReduce;MPI：MessagePassingInterface消息传递接口

使用分治法将问题分解成子问题，在不同节点上分而治之地求解。

MPI提供数据发送和数据接收操作：

将本进程中某些数据发送给其他进程

接收其他进程的数据

自行设计分治算法，将复杂问题分解为子问题

优势：以很细的粒度控制数据的通信

劣势：难度大，开发调试时间成本高;程序员只需要定义两个操作：Map和Reduce

案例：三明治制作

Map阶段将原材料在不同的节点上分别进行处理

Shuffle/Group阶段将不同的中间食材进行组合

Reduce阶段最终将一组中间食材组合成三明治成品

学习门槛比MPI低;什么是大数据

从批处理到流处理

代表性大数据技术

从Lambda到Kappa

流式处理基础概念

编程语言的选择

;单条数据被称为事件（Event）或者被称为一条数据或一个元素。

事件按照时序排列会形成一个数据流（DataStream）。

数据流一般是无界（Unbounded）的，某段有界数据流（BoundedDataStream）可以组成一个数据集。

;批处理（BatchProcessing）：对一批数据进行处理

案例：微???运动统计步数，银行信用卡账单统计…

数据总量大，计算非常耗时

流处理

数据本质上是流，流处理（StreamProcessing）对数据流进行处理

案例：查看电商实时销售业绩、股票交易…;流处理一般使用生产者-消费者模型

股票交易案例：辅助人工决策

实现消费者侧代码，以10秒为一个时间窗口，统计窗口内的交易情况

可扩展性：随着数据不断增多，能否保证我们的程序能够快速扩展到更多的节点上。

数据倾斜：数据没有均匀分布到分布式系统各个节点上。

容错性：系统崩溃重启后，之前的那些计算如何恢复。

时序错乱：数据到达的时间和实际发生的时间是不一致的，有一定的延迟，需要设计等待策略。

Flink：为流处理而生。

;什么是大数据

从批处理到流处理

代表性大数据技术

从Lambda到Kappa

流式处理基础概念

编程语言的选择

;MapReduce编程模型的一种实现，逐渐形成了一整套生态圈。

主要组件：

HadoopMapReduce：数据处理模型，面向批处理。

HDFS：分布式文件系统，提供存储支持。

YARN：资源调度器，分配计算资源。

其他著名组件：

Hive：SQL-on-Hadoop

Hbase：基于HDFS的分布式数据库，毫秒级实时查询

Kafka：消息队列

ZooKeeper：分布式环境的协调;Spark初衷：改良HadoopMapReduce的编程模型，提高运行速度，优化机器学习性能。

易用性：比MapReduce更好用，提供了多种编程语言API，支持SQL、机器学习和图计算。

速度快：尽量将计算放在内存中。

完美融入进Hadoop生态圈。

流处理：SparkStreaming，mini-batch思想，将输入数据流拆分成多个批次。

Spark是一个批流一体的计算框架。

;消息队列：数据集成和系统解耦，某个应用系统专注于一个目标。

企业将各个子系统独立出来，子系统之间通过消息队列来发送数据。;主要面向流处理

流处理框架经历了三代演进

Storm

SparkStreaming

Flink

事件投递保障：Exactly-Once：一条数据只影响一次最终结果

毫秒级的延迟;什么是大数据

从批处理到流处理

代表性大数据技术

从Lambda到Kappa

流式处理基础概念

编程语言的选择

;Lambda架构：批处理层