为你的深度学习任务挑选最合适gpu.pdf

—为你的深度学习任务挑选最合适 GPU 查看原图拥有一个快速的 GPU 对深度学习的初学者 来说是非常重要的，因为它可以使你迅速获得有助于构建专 业知识的实践经验。本文为你的深度学习任务挑选最合适 GPU ，提供从性能到价格的全方位指南本文作者 Tim Dettmers 是瑞士卢加诺大学信息学硕士，热衷于开发自己 的 GPU 集群和算法来加速深度学习。 本文的最早版本发布 于 2014 年 8 月，之后随着相关技术的发展和硬件的更新， Dettmers 也在不断对本文进行修正，截至目前已经进行了 5 次较大的更新。 机器之心今天呈现的这篇是其 2016 年 6 月 25 日的最新更新： 「重新编辑了多 GPU 部分；因为不 再有重大作用，去掉了简单的神经网络内存部分；扩展了卷 积内存部分；对 AWS 部分进行了删节，因为不再有实效； 增加了我对 Xeon Phi 的看法；更新了 GTX 1000 系列。」 而除了 GPU 之外，深度学习还需要其它一些硬件基础，详 情可参阅机器之心之前的文章 《深度 | 史上最全面的深度学 习硬件指南》 。当你在深度学习中使用 GPU 时,你会一次又 一次地为它带来的速度提升而感到惊叹：在一般问题中能获 得相对于 CPU 快 5 倍的速度提升，在一些更大的问题中 还能获得相对快 10 倍的速度提升。 在 GPU 的帮助下， 你 可以更快地试验新的想法、算法和实验，并迅速得到反馈 ——哪些是可行的、哪些是不可行的。如果你对深度学习是 认真的，那么你一定要使用 GPU 。但是，你应该选择哪一 种呢？在这篇博客中我将指导你选择一款最适合你的 GPU 。 拥有一个快速的 GPU 对深度学习的初学者来说是非常重 要的，因为它可以使你迅速获得有助于构建专业知识的实践 经验，这些专业知识可以帮助你将深度学习应用到新问题上。 没有这种迅速的反馈，从错误中汲取经验将会花费太多时间， 会使人在继续深度学习的过程中感到受挫和沮丧。在 GPU 的帮助下， 我很快就学会了如何在一系列 Kaggle 竞赛中应 用深度学习，并且在 Partly Sunny with a Chance of Hashtags Kaggle 竞赛上获得了第二名， 竞赛内容是通过一 个给定的 Twitter 预测气象等级。比赛中，我使用了一个相 当大的带有修正线性单元 （rectified linear units ）和 dropout 的两层深度神经网络进行正则化（ regularization ），而且勉 强才能塞进我的 6GB GPU 内存里。应该使用多个 GPU 吗？ 在 GPU 的帮助下，深度学习可以完成很多事情，这让我感 到兴奋。我投入了到多 GPU 的领域之中，用 InfiniBand 40Gbit/s 的互连组装了小型