4.2大数据处理：大数据处理的基本思想和架构（课件）-2024-2025学年《信息技术》高中·必修 1 数据与计算（浙教版）.pptxVIP

4.2大数据处理：大数据处理的基本思想与架构

大数据的特征知识回顾：数据与大数据（第五课时）①数据体量大②产生、处理速度快③数据类型多④价值密度低如何对大数据进行处理呢？

工程问题20天5天

5天工程问题20天

①寻找性能更优的超级个体②使用数量更多的普通个体思考：哪种方法更适合处理大数据问题呢？使用许多普通计算机来共同处理大数据。工程问题

统计过去一年微博上发布的十大热词

将计算机数量由1台增加到10台、100台、1000台，甚至更多台，再将大数据文件分成若干小份，分发给每一台计算机去处理，处理完成后将结果返回至主控计算机，由主控计算机汇总并输出频率最高的热词。

问题一：主控计算机网络传输带宽的瓶颈解决办法：对网络结构重新改造，分组汇总；

问题二：随着计算机数量增加，发生故障的风险加大解决办法：数据备份；A节点C节点B节点

复杂问题子问题......子问题子问题子问题分治思想——大数据处理的基本思想

课堂活动一：请同学们根据分治思想，思考一下生活中哪些问题的解决使用了分治思想，或者哪些问题适合采用分治思想来解决？

大数据处理的类型大数据处理按照类型可划分：对静态数据的批处理、对流数据的流计算和对图数据的图计算。静态数据：指在处理时已收集完成、在计算时不会发生改变的数据，一般采用批处理方式。流数据：指不间断地、持续地到达的实时数据，随着时间的流逝，流数据的价值也会随之降低，通过实时流计算可获得更有价值的结果。图数据：以社交网络、道路交通等为例的图结构数据，可以采用图计算模式进行处理。

图计算（pregel、GraphX）批处理计算（Hadoop、Spark）流处理计算(Storm、Heron)大数据处理的类型大数据处理静态数据流数据图数据大数据处理静态数据流数据图数据

请同学们结合生活实践，列举一下自己生活场景中静态数据、流数据以及图数据处理的实例。课堂活动二：

1.批处理计算——Hadoop是一个可运行于大规模计算机集群上的分布式系统架构，适用于静态数据的批处理计算。Hadoop三大重要组件分布式文件系统分布式数据库分布式并行计算模型HDFSHBaseMapReduce

（1）分布式文件系统——HDFSHDFS的主要功能是将大规模海量数据以文件的形式、用多个副本保存在不同的存储节点上，具有高度错容、部署在廉价机器上等优点。500GB64MBblock164MBblock2G4MBblockn......64MBblock264MBblock1G4MBblockn64MBblock164MBblock1切分副本副本

（2）分布式数据库——HBaseHBase是建立在HDFS提供的底层存储基础上，一个高可靠、高性能、可伸缩、分布式的列式数据库。与传统的基于行的关系型数据库不同，HBase采用基于列的存储方式，主要用来存储非结构化数据和半结构化数据，具有良好的横向扩展能力，可管理PB级的大数据。

（3）分布式并行计算模型——MapReduceMapReduce是一种分布式并行编程模型，能够处理大规模数据集的并行运算，主要有Map（映射）和Reduce（归纳）2个函数构成。helloworldbyeworld.hellohadoopbyehadoop.hellohadoopbyehadoop.helloworldbyeworld.MapMaphello1world1bye1world1hello1hadoop1bye1hadoop1Reducehello2hadoop2bye2hadoop2

总结：Hadoop的组成结构化数据公共库Common等半结构化数据非结构化数据数据采集数据存储和管理数据处理和分析数据可视化分布式文件系统HDFS分布式数据库HBase分布式并行计算模型MapReduce数据整理、查询工具Hive数据流语言Pig大数据处理架构Hadoop

2.流计算Hadoop适合处理静态数据，在流数据实时处理时明显性能不足，随着数据处理量及实时性要求的提高，诞生了专门处理流数据的计算平台，如Storm、Heron等。大规模数据处理的实时性数据处理量传统数据分析技术大数据处理平台Hadoop、Spark等实时数据处理平台流计算技术Storm、Heron等

2.流计算通过流计算系