面向Dask集群的基于局部加权线性回归的动态数据分块方法.pdfVIP

  • 5
  • 0
  • 约1.56万字
  • 约 11页
  • 2023-05-05 发布于四川
  • 举报

面向Dask集群的基于局部加权线性回归的动态数据分块方法.pdf

本发明公开了一种面向Dask集群的基于局部加权线性回归的动态数据分块方法,将待处理的大规模数据集划分成用于块大小寻优的子数据集集合和剩余待处理的子数据集集合,通过对用于块大小寻优的每个子数据集对应的块大小的处理,采用局部加权线性回归算法较精准地在线动态估计剩余待处理每个子数据集对应的块大小,依据所有已被处理的每个子数据集对应的块大小和所耗时间。本发明解决了对人工经验的高度依赖以及费时耗力的离线训练,能较好地适应数据集、并行应用程序和集群环境的变化,并一定程度上提高了在Dask集群中处理大规模数据

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114296911 A (43)申请公布日 2022.04.08 (21)申请号 202111509160.5 (22)申请日 2021.12.10 (71)申请人 湖南工业大学 地址

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档