一种Spark程序关于配置参数的敏感度分析方法.pdfVIP

  • 3
  • 0
  • 约1.3万字
  • 约 11页
  • 2023-05-10 发布于四川
  • 举报

一种Spark程序关于配置参数的敏感度分析方法.pdf

本发明公开了一种Spark程序关于配置参数的敏感度分析方法。该方法包括:针对Spark程序的配置参数集合,随机生成若干个有差异的配置参数构成敏感度测试组;利用所述敏感度测试组中的每个配置参数运行Spark程序,获得各配置参数对应的真实运行时间,并计算运行时间的标准差;基于所述运行时间的标准差和设定阈值的比较,判断当前Spark程序对各配置参数的敏感度,进而利用敏感度确定所分配的优化时间。本发明可以有效地表征待优化Spark程序关于配置参数的敏感度,解决了“高时间成本,低优化收益”问题。

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116069569 A (43)申请公布日 2023.05.05 (21)申请号 202111283681.3 (22)申请日 2021.11.01 (71)申请人 中国科学院深圳先进技术研究院 地址

文档评论(0)

1亿VIP精品文档

相关文档