基于差异合并的分布式随机梯度下降算法-计算机学报.PDFVIP

第 卷 第 期 计 算 机 学 报 ３８ １０ 　 　　 　　 　　 　　 Ｖｏｌ．３８ Ｎｏ．１０ 年 月 ２０１５ １０ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｏｃｔ．２０１５ 　 基于差异合并的分布式随机梯度下降算法 ），） ） ） ） １ ２ １ １ １ 陈振宏 兰艳艳 郭嘉丰 程学旗 　 　 　 １）（中国科学院计算技术研究所网络数据科学与技术重点实验室 北京 １００１９０） 　 　 ２）（中国科学院大学 北京 １００１９０） 　 　 摘 要 大规模随机梯度下降算法是近年来的热点研究问题，提高其收敛速度和性能具有重要的应用价值 大规 ． 　 　 模随机梯度下降算法可以分为数据并行和模型并行两大类 在数据并行算法中，模型合并是一种比较常用的策略 ． ． 目前，基于模型合并的随机梯度下降算法普遍采用平均加权方式进行合并，虽然取得了不错的效果，但是，这种方 式忽略了参与合并的模型的内在差异性，最终导致算法收敛速度慢，模型的性能及稳定性较差 针对上述问题，该文 ． 在分布式场景下，提出了基于模型差异进行合并的策略，差异性主要体现在两方面，各模型在其训练数据上错误率 的差异和训练不同阶段模型合并策略的差异 此外，该文对合并后的模型采用规范化技术，将其投射到与合并前模 ． 型 范数相同的球体上，提高了模型的收敛性能 作者在 、 和 个数据集上，验证了 Ｆｒｏｂｅｎｉｕｓ ． ＥｓｉｌｏｎＲＣＶ１ｖ２ ＵＲＬ３ ｐ 提出的基于差异合并的分布式随机梯度下降算法相对于平均加权方式具有收敛速度更快、模型性能更好的性质． 关键词 分布式；随机梯度下降；规范化；模型合并；社交网络；社会计算 　 中图法分类号 号 ／ ＴＰ３１１ 犇犗犐 １０．１１８９７ＳＰ．Ｊ．１０１６．２０１５．０２０５４ 　　　 犇犻狊狋狉犻犫狌狋犲犱犛狋狅犮犺犪狊狋犻犮犌狉犪犱犻犲狀狋犇犲狊犮犲狀狋狑犻狋犺犇犻狊犮狉犻犿犻狀犪狋犻狏犲犃 狉犲犪狋犻狀 犵犵 犵 犵