神经网络和深度学习neural networks and deep-learning-zh.pdf

null 目錄 1. Introduction 2. 第一章 使用神经网络识别手写数字 3. 第二章 反向传播算法如何工作的？ 4. 第三章 改进神经网络的学习方式 5. 第五章 深度神经网络为何很难训练 6. 第六章 深度学习 null null 神经网络与深度学习 神经网络和深度学习是一本免费的在线书。本书会教会你 ： 神经网络，一种美妙的受生物学启发的编程范式，可以让计算机从观测数据中进行学习 深度学习，一个强有力的用于神经网络学习的众多技术的集合 神经网络和深度学习目前给出了在图像识别、语音识别和自然语言处理领域中很多问题的最 好解决方案。本书将会教你在神经网络和深度学习背后的众多核心概念。 想了解本书选择的观点的更多细节，请看这里。或者直接跳到第一章 开始你们的旅程。 译者的话 ： 本书是 Michael Nielsen 的 Neural Networks and Deep Learning 的中译本。目前已经完成第 二章、第五章和第六章的内容。后续会进行剩下章节的翻译。如果想要合作翻译，提供意见 或者建议，给出翻译的笔误，都可以直接通过 xhzhu.nju@ 联系到我。 null null First Chapter GitBook allows you to organize your book into chapters, each chapter is stored in a separate file like this one. null null 在上一章，我们看到了神经网络如何使用梯度下降算法来学习他们自身的权重和偏差。但 是，这里还留下了一个问题 ：我们并没有讨论如何计算代价函数的梯度。这是很大的缺失 ！ 在本章，我们会解释计算这些梯度的快速算法，也就是反向传播。 反向传播算法最初在 1970 年代被发现，但是这个算法的重要性直到 David Rumelhart、Geoffrey Hinton 和 Ronald Williams 的 1986年的论文 中才被真正认可。这篇论 文描述了对一些神经网络反向传播要比传统的方法更快，这使得使用神经网络来解决之前无 法完成的问题变得可行。现在，反向传播算法已经是神经网络学习的重要组成部分了。 本章在全书的范围内要比其他章节包含更多的数学内容。如果你不是对数学特别感兴趣，那 么可以跳过本章，将反向传播当成一个黑盒，忽略其中的细节。那么为何要研究这些细节 呢？ 答案当然是理解。反向传播的核心是对代价函数 关于 （或者 ）的偏导数 的计 算表示。该表示告诉我们在权重和偏差发生改变时，代价函数变化的快慢。尽管表达式会有 点复杂，不过里面也包含一种美感，就是每个元素其实是拥有一种自然的直觉上的解释。所 以反向传播不仅仅是一种学习的快速算法。实际上它还告诉我们一些细节的关于权重和偏差 的改变影响整个网络行为方面的洞察。因此，这也是学习反向传播细节的重要价值所在。 如上面所说，如果你想要粗览本章，或者直接跳到下一章，都是可以的。剩下的内容即使你 是把反向传播看做黑盒也是可以掌握的。当然，后面章节中也会有部分内容涉及本章的结 论，所以会常常给出本章的参考。不过对这些知识点，就算你对推导的细节不太清楚你还是 应该要理解主要的结论的。 热身 ：神经网络中使用矩阵快速计算输出的观 点 在讨论反向传播前，我们先熟悉一下基于矩阵的算法来计算网络的输出。事实上，我们在上 一章的最后已经能够看到这个算法了，但是我在那里很快地略过了，所以现在让我们仔细讨 论一下。特别地，这样能够用相似的场景帮助我们熟悉在反向传播中使用的矩阵表示。 我们首先给出网络中权重的清晰定义。我们使用 表示从 层的 个神经元到 层的 个神经元的链接上的权重。例如，下图给出了第二隐藏层的第四个神经元到第 三隐藏层的第二个神经元的链接上的权重 ： null null 这样的表示粗看比较奇怪，需要花一点时间消化。但是，后面你会发现这样的表示会比较方 便也很自然。奇怪的一点其实是下标 和 的顺序。你可能觉得反过来更加合理。但我接下 来会告诉你为什么要这样做。 我们对网络偏差和激活值也会使用类似的表示。显式地，我们使用 表示在 层 个神 经元的偏差，使用 表示 层 个神经元的激活值。下面的图清楚地解释了这样表示的 含义 ： 有了