深度学习验法则：架构与超参数选择指南.pdfVIP

26分钟阅读

当我第一次在院学习神经网络时，我问我的教授是否有关于选择架构和超参数的经验法则。

我半期望他的回答是“嗯，有点，但其实没有”——毕竟，神经网络的选择比其他机器学习算法

要多得多！我在阅读Goodfellow、YoshuaBengio和AaronCourville的《深度学习》(

httpdeepnngbkg/)一书时一直在思考这个问题，并决定整理出书中提到的各种经验法则。结

果发现，这些经验法则确实很多——特别是因为神经网络的类型和它们可以完成的任务种类繁多。

有趣的是，许多这些经验法则并没有得到充分的验证——深度学习仍然是一个相对较新的研究领

域，因此下面列出的许多法则只是研究人员发现的。除此之外，这本书中有很多地方，作者

会用更学术的术语说“我们不知道为什么这有效，但我们可以看到它确实有效”或“我们知道这

不是方法，但这是一个活跃的研究领域，目前我们还没有更好的方法”。

以下是我在阅读《深度学习》（httpdeepnngbkg/）过程中记录的一些更实用的笔记。我

在顶部添加了一个TL;DR，涵盖了最重要的几点，如果你时间不多，建议先看这一部分。

这不是《深度学习》(httpdeepnngbkg/)的书评，但如果你希望深入了成熟的方法论以

及研究的活跃领域（在时），我个人会推荐这本书。f