Flink原理与实践-大数据技术概述.pdfVIP

第一章 大数据技术概述 大数据 l 大数据的5个V • Volume ：数据量大 • Velocity ：数据产生速度快 • Variety ：数据类型繁多 • Veracity ：数据真实性 • Value ：数据价值 大数据分而治之 l 单台计算机无法处理所有数据，使用多台计算机组成集 群，进行分布式计算。 l 分而治之 • 将原始问题分解为多个子问题 • 多个子问题分别在多台计算机上求解 • 将子结果汇总 l 比较经典的模式和框架 • MPI • MapReduce MPI l MPI ：Message Passing Interface消息传递接口 l 使用分治法将问题分解成子问题，在不同节点上分而治之地求解。 l MPI提供数据发送和数据接收操作： • 将本进程中某些数据发送给其他进程 • 接收其他进程的数据 l 自行设计分治算法，将复杂问题分解为子问题 l 优势：以很细的粒度控制数据的通信 l 劣势：难度大，开发调试时间成本高 MapReduce l 程序员只需要定义两个操作：Map和Reduce l 案例：三明治制作 l Map阶段将原材料在不同的节点上分别进行处理 l Shuffle/Group阶段将不同的中间食材进行组合 l Reduce阶段最终将一组中间食材组合成三明治成品 l 学习门槛比MPI低 数据与数据流 l 单条数据被称为事件（Event ）或者被称为一条数据或一个元素。 l 事件按照时序排列会形成一个数据流 （Data Stream ）。 l 数据流一般是无界（Unbounded ）的，某段有界数据流（Bounded Data Stream ）可以组成一 个数据集。 批处理与流处理 l 批处理（Batch Processing ）：对一批数据进行处理 • 案例：微信运动统计步数，银行信用卡账单统计… • 数据总量大，计算非常耗时 l 流处理 • 数据本质上是流，流处理 （Stream Processing ）对数据流进行处理 • 案例：查看电商实时销售业绩、股票交易… 流处理框架必要性 l 流处理一般使用生产者-消费者模型 l 股票交易案例：辅助人工决策 • 实现消费者侧代码，以10秒为一个时间窗口，统计窗口内的 交易情况 • 可扩展性：随着数据不断增多，能否保证我们的程序能够快速 扩展到更多的节点上。 • 数据倾斜：数据没有均匀分布到分布式系统各个节点上。 • 容错性：系统崩溃重启后，之前的那些计算如何恢复。 • 时序错乱 ：数据到达的时间和实际发生的时间是不一致的，有 一定的延迟，需要设计等待策略。 l Flink ：为流处理而生。 生产者-消费者模型 Hadoop l MapReduce编程模型的一种实现，逐渐形成了一整 套生态圈。 l 主要组件： • Hadoop MapReduce ：数据处理模型，面向批处理。 • HDFS ： 分布式文件系统，提供存储支持。 • YARN ：资源调度器，分配计算资源。 l 其他著名组件： • Hive ：SQL-on-Hadoop • Hbase ：基于HDFS的分布式数据库，毫秒级实时查询 • Kafka ：消息队列 • ZooKeeper ：分布式环境的协调 Hadoop生态圈 Spark l Spark初衷：改良Hadoop MapReduce的编程模型 ，提高运行速 ， 优化机器学习性能。 l 易用性：比MapReduce更好用，提供了多种编程语言API ，支持 SQL、机器学习和图计算。 l 速度快：尽量将计算放在内存中。 l 完美融入进Hadoop生态圈。 Spark生态圈 l 流处理：Spark Streaming ，mini-batch思想，将输入数据流拆分 成多个批次。