1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. 并行计算/云计算

大数据工程师-数据处理与分析-Apache Spark_Spark部署与集群管理.docxVIP

  • 7
  • 0
  • 约1.88万字
  • 约 23页
  • 2024-10-19 发布于辽宁
  • 举报

大数据工程师-数据处理与分析-Apache Spark_Spark部署与集群管理.docx

    PAGE1

    PAGE1

    ApacheSpark基础介绍

    1Spark的历史与发展

    ApacheSpark是一个开源的分布式计算系统，由加州大学伯克利分校的AMPLab开发，于2009年首次发布。Spark的设计初衷是为了克服HadoopMapReduce在迭代计算和数据处理速度上的局限性。MapReduce虽然在批处理大数据方面表现出色，但在迭代计算和实时数据处理上效率较低，因为每次MapReduce作业都需要从磁盘读取数据，这在数据量巨大时会显著增加处理时间。

    Spark通过引入ResilientDistributedDatasets(RD

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >