硬编码参数导致DataNode重启耗时过长分析.pdfVIP

  • 1
  • 0
  • 约小于1千字
  • 约 1页
  • 2026-09-30 发布于北京
  • 举报

硬编码参数导致DataNode重启耗时过长分析.pdf

重启时间超过了10分钟(代码里的硬编码,不可配置),就一定会让loadDfsUsed()返回一个

-1的值,也就是不使用之前缓存好的dfsUsed值(磁盘空间使用量),此时就会导致DU线程

的构造函数里,会发现拿到了一个-1

此时就会同步执行一个外部的:du-sk/dir,命令,分析当前磁盘空间使用情况,首先执行那

个命令就比较慢(在一个数据量特别大的机器上),使用IO流数据,分析,等等,这些

操作其实可能是比较好使的

DataNode停机几个小时,这个时候机器上的数据肯定是没有变化的,此时重启一旦执行了

耗时的du操作,就会导致DataNode重启时间过长,几分钟的耗时,10分钟的耗时,

DataNode重启慢启动的问题

文档评论(0)

1亿VIP精品文档

相关文档