通信高效的分布式并行随机优化算法的研究.pdf

摘要   摘要 ， 型 模 ， 下 随着大数据时代的到 机器学习模 规 变得 来 大 随机梯 降 来 越 越 度 ｔ Ｄ Ｓ Ｄ Ｓｔｏｃｈａｓｔｉ ｃ Ｇｒ ａｄｉｅｎ ｅｓｃｅｎｔ  Ｇ 算 其 布式并行变体成为 规 机器学习 （ ， ） 法及 分 大 模 法。 有 下 法在理论上 有 秀 任 主要优化算 虽然现 的 布式随机梯度 降算 具 优 务的 分 ， ， 加 质 入 开 这 的线性 速比 但是由 在 践 分布式训练需要引 额外的 信 销 性 于 实 中 通 正 。 ， 通 法 难 现 的线 时间加速比 此 设计 信 的分布 行 些算 很 实 真 性 因 高效 式并 算法 至 重 。 减 机 习的 究中 要 本文从 的 提出 进 小分 器 研 不 在 学 关 两种 同 角度 改 算法以 式优化中的 信代价。 布 通 习任 ， 通 针对大 模 度学 务 我们提 与 解耦的分布式随机梯度 规 深 出计算 信 下 ｍ ｕｔａｔ ｏｎ ａｎ ｏｍｍｕｎ ｃａｔ ｏ Ｄｅｃｏ ｅ ｏ ｏＤ－ Ｄ Ｃｏ ｉ ｄ Ｃ ｉ ｉ ｎ ｕ ｌ ｄ ＳＧＤ Ｃ Ｃ ＳＧ ， 降 （ ｐ ｐ ， ） 算法 通过 通 。 理 证 提 行 行 减小 信 销 从 论上