分布式大数据系统需自管内存及策略分析.pdfVIP

  • 0
  • 0
  • 约小于1千字
  • 约 1页
  • 2026-06-08 发布于北京
  • 举报

分布式大数据系统需自管内存及策略分析.pdf

《031_为什么分布式大数据系统都要自己管理内存?》

大数据系统,mapreduce、spark、flink,如果用jvm管理内存,都会两大问题,OOM,

jvm管理内存的时候,outofmemory,内存不足了,同时间使用的内存太多了,没法进行垃

圾回收了,此时还要申请的内存,就必然会OOM

回收,mapreduce、spark(scala和java就没区别,都是基于jvm运行的语言),跑着

跑着就OOM了,作业分配的进程和线程,以及内存,分配的资源,数据太多了,

现有资源处理不过来的

回收,fullgc,回收

文档评论(0)

1亿VIP精品文档

相关文档