基于差异合并的分布式随机梯度下降.pdfVIP

第38卷第10期 计 算 机 学 报 v01．38No．10 2015年10月 CHINESE Oct．2015 JOURNALOFCOMPUTERS 基于差异合并的分布式随机梯度下降算法 陈振宏”’2’ 兰艳艳¨ 郭嘉丰¨ 程学旗” ”(中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190) ”(中国科学院大学北京100190) 摘要大规模随机梯度下降算法是近年来的热点研究问题，提高其收敛速度和性能具有重要的应用价值．大规 模随机梯度下降算法可以分为数据并行和模型并行两大类．在数据并行算法中，模型合并是一种比较常用的策略． 目前，基于模型合并的随机梯度下降算法普遍采用平均加权方式进行合并，虽然取得了不错的效果，但是，这种方 式忽略了参与合并的模型的内在差异性，最终导致算法收敛速度慢，模型的性能及稳定性较差．针对上述问题，该文 在分布式场景下，提出了基于模型差异进行合并的策略，差异性主要体现在两方面，各模型在其训练数据上错误率 的差异和训练不同阶段模型合并策略的差异．此外，该文对合并后的模型采用规范化技术，将其投射到与合并前模 型Frobenius范数相同的球体上，提高了模型的收敛性能．作者在Epsilon、RCVl一v2和URL3个数据集上，验证了 提出的基于差异合并的分布式随机梯度下降算法相对于平均加权方式具有收敛速度更快、模型性能更好的性质． 关键词分布式；随机梯度下降；规范化；模型合并；社交网络；社会计算 中图法分类号TP311 DOI号10．11897／SP．J．1016．2015．02054 DistributedStochasticGradientDescentwithDiscriminative Aggregating CHEN Yan—Yan¨GUO CHENG Zhen—Hon91’孙LAN Jia—Fen91’ Xue—Qil’ NetworkDataScienceand ”(KeyLaboratoryof Technology，InstituteofComputingTechnology， Chinese 100190) AcademyofSciences，Beijing Chinese 100190) ”(Universityof AcademyofSciences，Beijing Abstract scalestochasticdescenthasbeena research is Large gradient popular topic．Itimportant to its and in scalestochastic improveconvergencespeedperformancepractice．Currently，large descent canbe dividedintotWO andmodel gradient algorithmsroughly classes，data-parallelparallel． In isa model data—parallel。m