1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 汽车/机械/制造
  5. 特种设备

分布式机器学习中基于自适应同步与梯度压缩的通信优化研究.pdf

分布式机器学习中基于自适应同步与梯度压缩的通信优化研究.pdf

    摘要

    摘要

    随着物联网、人工智能、大数据等前沿技术的快速发展，数据量地快速增加

    以及模型结构地日益复杂化，传统的单机训练模式已经无法满足高效训练的需求，

    分布式机器学习为突破这一瓶颈提供了关键的技术支持。但是，计算节点数量的

    增加给分布式训练任务带来了诸多挑战：第一，掉队节点的存在使现有的并行策

    略难以平衡同步滞后与过时梯度的影响，不仅降低了资源利用率，还延长了模型

    的训练时间。第二，多个计算节点与参数服务器之间频繁传输参数和

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >