大数据导论-第2章.pptxVIP

大数据导论第2章大数据的架构大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及更多维度，如治理、安全性和策略。大数据必然无法用单台计算机进行处理，必须采用若干台计算机对海量数据进行分布式数据挖掘。选择一种架构并构建合适的大数据解决方案极具挑战性，因为需要考虑非常多的因素。本章将介绍目前数据处理领域应用比较多的几种架构，重点介绍Hadoop体系架构。

2.1大数据平台架构简介2.2Hadoop体系架构【思考题】

2.1大数据平台架构简介1．单机运算大数据将带来巨大的技术和商业机遇，大数据分析挖掘和利用将为企业带来巨大的商业价值，而随着应用数据规模急剧增大，传统计算方式面临严峻挑战。单机运算的特点：小数据+大量复杂的计算和分析。单机运算的缺点：依赖于单机性能、CPU+RAM（摩尔定律），难以处理海量数据。2．分布式计算随着计算技术的发展，有些应用需要巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间。分布式计算能将这类应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。3．分布式计算系统目前得到广泛应用的三大分布式计算系统是Hadoop、Spark和Storm。2.1.1传统计算方式的数据瓶颈

大数据导论 ///4///1．大数据处理平台的特点1）通过分布式计算框架来实现 2）提供高效的计算模型和简单的编程接口3）可扩展性强 4）容错能力强 5）高效可靠I/O2．大数据处理平台的一般技术架构要完成数据工程需要大量的资源；数据量很大，需要集群；要控制和协调这些资源，需要监控和协调分派；面对大规模的数据怎样部署更方便、更容易；还涉及日志、安全，还可能要和云端结合起来，这些都是大数据处理的内容，都很重要。大数据处理平台的技术架构如图2-1所示。3．新一代大数据整体技术架构新一代大数据整体技术架构如图2-2所示，将大数据计算分为实时计算与离线计算，在整个集群中，能实时计算的，一定采用实时计算流处理，通过实时计算流来提高数据的时效性及数据价值，同时减轻集群的资源使用率集中现象。2.1.2大数据处理平台的技术架构

大数据导论 ///5///2.1.3主流大数据架构1．传统BI架构随着大数据技术的发展，数据挖掘、数据探索等专有名词的曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，BI系统架构如图2-3所示。在BI系统里，核心的模块是Cube。Cube是一个更高层的业务模型抽象，在Cube之上可以进行多种操作，例如上钻、下钻、切片等操作。其实Cube只是一种MOLAP的实现，属于数据仓库的一部分，Cube的结构如图2-4所示。图2-3BI系统架构图2-4Cube的结构

大数据导论 ///6///2．流式架构在传统大数据架构的基础上，流式架构直接丢弃了批处理，数据全程以流的形式处理，所以在数据接入端没有了ETL，替换为数据通道。经过流处理加工后的数据，以消息的形式直接推送给了消费者。虽然有一个存储部分，但是该存储更多以窗口的形式进行存储，所以该存储并非发生在数据湖（DataLake），而是在外围系统，流式架构原理图如图2-5所示。图1-6大数据的5V特征数据湖通常存储原始格式数据，比如blob对象或文件。这套系统存储了所有企业的数据，不仅仅是原始应用系统数据，还包括用于报表、可视化分析和机器学习的转化后的数据。因此，它包含了各种数据格式，有关系型数据库的结构化数据，有半结构化数据（比如CSV、log、XML、JSON），还有非结构化数据（E-mail、Document、PDF）和二进制数据（图片、音频和视频）。

大数据导论 ///7///3．Lambda架构在大数据系统里，大多数架构基本都是Lambda架构或者基于其变种的架构。Lambda是充分利用了批次（Batch）处理和流处理（Stream-Processing）各自强项的数据处理架构，Lambda架构原理图如图2-6所示。它平衡了延迟、吞吐量和容错。利用批次处理生成正确且深度聚合的数据视图，同时借助流式处理方法提供在线数据分析。在展现数据之前，可以将两者结果融合在一起。Lambda的出现，与大数据、实时数据分析以及MapReduce是密不可分的。Lambda依赖于只增不改的数据源。历史数据在这个模型中就是稳定不变的历史数据，变化着的数据永远是最新进来的，并且不会重写历史数据。任