1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. 并行计算/云计算

Spark与Hadoop集群整合详解：架构与独立模式部署.pdfVIP

  • 1
  • 0
  • 约8.5千字
  • 约 30页
  • 2026-05-20 发布于北京
  • 举报

Spark与Hadoop集群整合详解：架构与独立模式部署.pdf

    ➢创建Executor；将资源和任务进一步分配给Executor；

    ➢同步资源信息、Executor状态信息给ClusterManager。

    一、spark的整体架构

    3、Executor

    Executor是spark任务（task）的执行单元，运行在worker上，实际上它是一组计算资

    源(cpu、memory)的集合。一个worker上的memory、cpu由多个executor共同

    分摊。同时，Executor还负责与Worker、Driver的信息同步。

    4、Driver

    可以理解为Application的驱

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >