DeepNetworkOverviewby郑胤THU-合并版本R1..docxVIP

Translated by @郑胤THUyzheng3xg@y-zheng09@Deep Network: Overview深度网络：概览[R1]深层网络：概览（说明： Deep Network 这个术语的翻译有点争议，到底是“深度网络”好还是“深层网络”好？英语中的“deep”和汉语中的“深”都有两种含义，一种是抽象的，表示“深刻”、“深远”、“深度”等含义，另外一种是几何上的，表示一种刻画对象的维度，如“深渊”。就这里的上下文来看，“Deep Network”中的“deep”似乎应该是后一种含义，即表示网络的层数可以很多–-三层及以上的“MultipleLayer Network”就是“Deep Network”，这是其一；其二，在汉语中“深度”虽可表示几何上的“深”，如“河的深度”，但网络的深度是什么？不太直观。由于上面两个理由，本人更倾向于“深层网络”-- 虽然“deep network”中并没有直接出现“layer”这个词。同理，“deep learning”似乎也应该翻译成“深层学习”比较好，因为它实际上是指对“深层网络”的学习，或至少以“多层表示”为目的的学习，“深度学习”则无“层”的含义，因为即使只有一层表示，你也可以对训练样本进行深度学习。以上只是个人看法–但若翻译成“深度网络”，本人也可以接受，因为术语存在的唯一目的是便于沟通，即每个人看到这个词想到意思一样即可，另外，“深度”的外延要大一些，这可一定程度上增加这个术语内涵的灵活性。-noted by xtan）Overview概述In the previous sections, you constructed a 3-layer neural network comprising an input, hidden and output layer. While fairly effective for MNIST, this 3-layer model is a fairly?shallow?network; by this, we mean that the features (hidden layer activations?a(2)) are computed using only one layer of computation (the hidden layer).在之前的章节中，你已经构建了一个包括输入层、隐层以及输出层的三层神经网络。虽然该网络对于MNIST数据库非常有效，但是它还是一个非常“浅”的网络。这里的“浅”指的是特征（隐层单元的响应）只是用一层计算单元（隐层）来得到的。【R1】在之前的章节中，你已经构建了一个包括输入层、隐层以及输出层的三层神经网络。虽然该网络对于MNIST数据库非常有效，但是它还是一个非常“浅”的网络。这里的“浅”指的是特征（隐层单元的响应a(2)）只是用一层计算单元（隐层）来得到的。In this section, we begin to discuss?deep?neural networks, meaning ones in which we have multiple hidden layers; this will allow us to compute much more complex features of the input. Because each hidden layer computes a non-linear transformation of the previous layer, a deep network can have significantly greater representational power (i.e., can learn significantly more complex functions) than a shallow one.在本节中，我们开始讨论深度神经网络，即含有多层隐层的网络。通过引入深度网络，可以使我们得到表征输入的更加复杂的特征。因为每一层隐层计算的是上一层输出的非线性的变换，那么深度神经网络就能够拥有比“浅层”网络更加优异的表达能力（例如学习到更加复杂的函数关系）。【R1-此段无修改】在本节中，我们开始讨论深度神经网络，即含有多层隐层的网络。通过引入深度网络，可以使我们得到表征输入的更加复杂的特征。因为每一层隐层计算的是上一层输出的非线性的变换，那么深度神经网络就能够拥有比“浅层”网络更加优异的表达能力（例如学习到更加复杂的函数关系）。Note that when training a deep network, it is important to use a?non-linear?activation function??in