1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. 软件工程

课件_spark性能优化.pdfVIP

  • 3
  • 0
  • 约小于1千字
  • 约 2页
  • 2022-11-14 发布于北京
  • 举报

课件_spark性能优化.pdf

    shuffle性能优化 new SparkConf().set(spark.shuffle.consolidateFiles, true) spark.shuffle.consolidateFiles ：是否开启shuffle block file的合并，默认为false spark.reducer.maxSizeInFlight ：reduce task的拉取缓存，默认48m spark.shuffle.file.buffer：map task的写磁盘缓存

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >