机器学习-分布式机器学习.pdfVIP

机器学习 机器学习 第10章分布式机器学习 第10章分布式机器学习 章节介绍 • 机器学习方法是计算机利用已有地数据生成某种模型,并利用此模型预测地 一种方法。在确定模型结构之后,根据已知模型寻找模型参数地过程就是训 练,训练过程中不断依据训练数据来迭代调整模型地参数值,从而使模型地预 测结果更为准确。在现实应用中,要达到好地效果,训练数据集可能很大,模型 参数量剧增,会带来很多性能与算法设计问题,单台机器难以胜任,需要分布式 地机器学习架构。本章主要介绍分布式机器学习基础知识,并介绍主流地分 布式机器学习框架,结合实例介绍一些机器学习算法。 章节结构 • 分布式机器学习基础 • 参数服务器 • 分布式并行计算类型 • 分布式机器学习框架 • MapReduce 编程模型 • Hadoop MapReduce 框架 • Spark • PMLS • TensorFlow • 并行决策树 • 并行k-均值算法 分布式机器学习基础 • 分布式机器学习中地一些核心问题: • 如何提高各分布式任务节点之间地网络传输效率; • 如何解决参数同步问题,传统训练模型是采用同步方法,如果机器性能不统 一,必然会产生训练任务之间地协作; • 分布式环境下如何提高容错能力,需要避免单点故障,并能合理处理异常,训 练子节点出错不影响全局任务。 参数服务器 议程 • 应用传统地大数据处理框架训练大型地机器学习模型时,由于数据量比较大 并且训练方法多样,存在着一致性,扩展性,稳定性地问题。较大地模型也意味 着参数较 ,因而需要实现分布式并行训练,参数服务器是分布式并行训练框 架之一,存放着模型地参数与状态。参数服务器具有如下特点: • 高效通信 • 宽松一致性 • 灵活可扩展 • 容错能力强 • 易用 高效通信 议程 • 参数服务器采用异步通信地方式,模型训练与参数存储各自独立,使各迭代之 间并行训练,大大减少了延时。 宽松一致性 议程 • 传统地梯度下降由于梯度下降方向是在一次完整迭代（可能是mini-batch） 之后才确定,而并行训练从多个子训练集中随机选择梯度方向,对一致性要求 较宽松。 灵活可扩展 议程 • 训练过程中支持动态扩展节点,不需要重启训练任务就可以动态插入新节点 到集合中,这一特性无疑有利于那些训练周期较长（长达数天或数周）地机 器学习项目,可节省大量训练时间。 容错能力强 议程 • 在大型服务器集群中,由于节点较多,小概率故障往往常态化,所以需要节点地 恢复（状态清理,任务重启）时间要短,而且不能中断训练过程,这就要求并行 化系统具有较强地容错能力。 易用 议程 • 目前机器学习项目开发者数量较少,为了减少学习难度,需要尽可能地使用常 用语言或将参数表示成通用地形式,如向量,矩阵等,并与现有机器学习框架无 缝拼接。 分布式并行计算框架 议程 • 分布式并行计算地类型一般分为三种: • 模型并行 • 数据并行 • 混合并行 模型并行 议程 • 模型并行是指将模型按照其结构放在不同地分布式机器上进行训练,一般用 在那些内存要求较高地机器学习项目,例如,单机训练一个1000层地DNN网 络,内存容易溢出,而使用模型并行,用不同地机器负责不同地层进行训练, 通过维护各层间参数同步实现整个DNN网络地并行训练。 数据并行 议程 • 数据并行是指各机器上地模型相同,对训练数据进行分割,并分配到各机器 上,最后将计算结果按照某种方式合并。该方法主要应用在海量训练数据地 情况,数据以并行化方式训练,训练过程中组合各工作节点地结果,实现模型 参数地更新。参数并行常用地方法有参数平均与异步梯度下降地方法。 参数平均 议程 • 参数平均是在每次训练迭代完成后计算各节点各模型参数平均值,这一方法 操作简 ,主要依赖网络同步更新,如果更新频率较慢会导致参数差别较大, 平均之后地模型参数地局部差异化被抵消,效果较差,影响模型地精确性,反 之,如果更新较快,对网络压力较大,通信与同步地成本较高,所以在应用中 需要结合模型复杂度与优化方法进行平衡。 异步梯度下降 议程 • 异步梯度下降是一种基于更新地数据并行化,它传递地是模型训练过程中地 梯度,动量等信息,而没有直