Hadoop20上深度学习的解决方案.docxVIP

Hadoop 2.0 上深度学习的解决方案 伴随着数据的爆炸性增长和成千上万的机器集群，我们需要使算法可以适应在如此分布的环境下运行。在通用的分布式计算环境中运行机器学习算法具有一系列的挑战。本文探讨了如何在一个Hadoop集群中实现和部署深度学习。 波士顿的 数据科学团队正在利用尖端工具和算法来优化商业活动，且这些商业活动是基于对用户数据中的深刻透析。数据科学大量使用机器算法，可以帮助我们在数据中识别和利用模式。从互联网大规模数据中获取透析是一项具有挑战性的任务，因此，能大规模运行算法是一个至关重要的需求。伴随着数据的爆炸性增长和成千上万的机器集群，我们需要使算法可以适应在如此分布的环境下运行。在通用的分布式计算环境中运行机器学习算法具有一系列的挑战。 这里，我们探讨一下如何在一个Hadoop集群中实现和部署深度学习（一个尖端机器学习框架）。对于算法是如何适应运行在一个分布式环境中，我们提供了具体的细节。我们也给出了算法在标准数据集上的运行结果。 深度信任网络 深度信任网络（Deep?Belief?Networks,?DBN）是在贪婪和无监督的条件下通过迭代和训练受限的玻耳兹曼机（Boltzmann?Machines,?RMB）而得到的图形模型。通过对如下可被观察的维度x和隐藏层hk之间相互连接的分布式进行建模，DBN被训练来提取训练数据的深层透析。 表达式1：DBN分布式 在下图中，输入层和隐藏层的关系是可以被观察到的。从高层次来看，第一层被作为RBM来训练，为原始输入x进行建模。输入的数据是个稀疏二进制维度，表明数据将会被分类，比如，一个二进制的数字图像。后续层把前面的层传递过来的数据（样本或activations）当作训练示例使用。层数可以通过经验来决定，以此来获得更好的模型性能，DBN支持任意多的层数。 图1：DBN层次 下面的代码片段表明了进入RBM的训练。在提供给RBM的输入数据中，有多个预定义的时间点。输入数据被分成小批量数据，为各个层计算weights、activations和deltas。 在所有的层都被训练以后，深度网络的参数调整使用受监督的训练标准。受监督的训练标准，比如，可以作为一个分类问题来设计，允许使用深度网络来解决分类问题。更复杂的受监督的标准可以用来提供如情景解读之类的有趣的结果，比如解释图片里展示的东西是什么。 基础构造 深度学习受到了广泛的关注，不仅仅是因为它可以得出比其他一些学习算法更优异的结果，也因为它可以在分布式设备上运行，允许处理大规模的数据集。深度网络可以在两个级别进行并行、层级别和数据级别[6]。对于层级别的并行，许多实现使用GPU数组来并行计算层级别activations和频繁同步它们。然而，这种方法不适合那种数据驻留在通过网络连接的多个机器的集群，因为有着较高的网络开销。对于数据层的并行，训练是在数据集上进行并行的，更适合分布式设备。Paypal的大部分数据存储在Hadoop集群上，因此能够运行那些集群上的算法是我们的首要任务。专用集群的维护和支持也是一个我们需要考虑的重要因素。然而，由于深度学习本质上是迭代的，像MapReduce这样的范式不适合运行这些算法。但是随着Hadoop2.0和基于YARN的资源管理的问世，我们可以编写迭代程序，同时可以精细地控制程序使用的资源。我们使用了IterativeReduce?[7]?,?Hadoop?YARN里面的一个用户编写迭代算法的程序，我们可以将它部署在一个运行Hadoop?2.4.1的Paypal集群中。 方法 我们实现了Hinton的核心算法，在[2]中引用的。由于我们的需求是分散运行在多个机器的集群中的算法，我们在这样的环境下使用了他们的算法。对于在多个机器上分散这个算法，我们参照了Grazia所提出的指南[6]。下面是对我们的实现做的详细总结： Master节点初始化RBM的weights。 Master节点向Worker节点推送weights和splits。 Worker节点在一个数据集时间点训练一个RBM层，换句话说，在一个Worker节点完全通过所有的split后，向Master发送更新后的weights。 在一个给定的时间点里，Master节点对来自所有Worker节点的weights求平均值。 在预定义的时间集（我们的例子中是50）中，重复3-5步操作。 第6步完成以后，有一个层就被训练了。后续的RBM层也重复这些步骤。 当所有的层都被训练以后，深度网络就会通过使用错误反向广播机制准确地调整好。 下图描述了在运行深度学习算法时的一个单个数据集时间点（步骤3-5）。我们注意到，这个范式可以被利用来实现一个主机可迭代的机器学习算法。 图2：用于训练的单个数据集时间点 下面的代码片段表明了