实用的深度学习技巧.pdfVIP

深度学习已经成为解决许多具有挑战性的现实世界问题的方法。对 目标检测，语音识别和语言翻译来说，这是迄今为止表现最好的方法。 许多人将深度神经网络（ DNNs）视为神奇的黑盒子，我们放进去一堆数 据，出来的就是我们的解决方案！事实上，事情没那么简单。 在设计和应用 DNN到一个特定的问题上可能会遇到很多挑战。为了达到 现实世界应用所需的性能标准，对数据准备，网络设计，训练和推断等 各个阶段的正确设计和执行至关重要。在这里，我将与大家分享 7 个实 用技巧，让您的深度神经网络发挥最大作用。 1 - 数据，数据，数据 这不是一个大秘密。一直工作得很好的深度学习机器需要燃料 - 大量的燃料 ; 燃料是数据。我们拥有的标记数据越多，模型的表现就越 好。更多的数据导致更好的性能，已经由谷歌大规模的探索 3 亿图像的 数据集印证！ 在实际应用中部署 Deep Learning 模型时，您应该不断地为其提供 更多的数据和微调以继续提高其性能。喂饱怪兽：如果你想提高你的模 型的性能，那就获得更多的数据！ 不断增加的数据产生更好的性能 2 - 你应该使用哪个优化器？ 多年来，已经开发了许多梯度下降优化算法，各有其优缺点。一些 最流行的包括： · 随机梯度下降（ SGD）+动量方法 · Adam · RMSprop · Adadelta RMSprop，Adadelta 和 Adam被认为是自适应优化算法，因为它们会 自动更新学习速率。使用 SGD时，您必须手动选择学习率和动量参数， 通常会随着时间的推移而降低学习率。 在实践中，自适应优化器倾向于比 SGD更快地收敛，然而，他们的 最终表现通常稍差。 SGD通常会达到更好的最小值，从而获得更好的最 终准确性，但这可能需要比某些优化程序长得多的时间。它也更依赖于 强大的初始化和学习速率衰减时间表，这在实践中可能非常困难。 因此，如果你需要一些快速的结果，或者只是想测试一个新的技 术，选择自适应优化器。我发现 Adam很容易使用，因为它对你选择完美 的学习率并不是很敏感。如果您想获得绝对最佳的最终表现，请使用 SGD + Momentum，并使用学习率，衰减和动量值来最大化表现。 两全其美的方法有木有！ 它最近的研究显示，你可以做到两全其美：高速训练顶尖的性能通 过切换从 Adam到 SGD！这个想法是，训练的早期阶段实际上是 SGD对参 数调整和初始化非常敏感的时候。因此，我们可以通过使用 Adam来启动 我们的训练，这将使您节省相当长的时间，而不必担心初始化和参数调 整。那么，一旦 Adam运转起来，我们可以切换到 SGD +动量优化，以达 到最佳性能！ Adam vs SGD 表现。由于鲁棒性和自适应学习速度， Adam在一开始 表现更好，而 SGD最终达到更好的全局最小值。 3 - 如何处理不平衡的数据 在很多情况下，您将处理不平衡的 数据，特别是在现实世界的应 用程序中。举一个简单而实际的例子：为了安全起见，您正在训练您的 深度网络以预测视频流中是否有人持有致命武器。但是在你的训练数据 中，你只有 50 个拿着武器的人的视频和 1000 个没有武器的人的视频！ 如果你只是用这些数据来训练你的网络，那么你的模型肯定会非常偏向 于预测没有人有武器！ 有几件事你可以做到这一点： · 在损失函数中使用类权重：本质上，代表性不足的类在损失函数中获 得更高的权