7.2DNN重点分析.pptVIP

现在回到我们的主题Deep Learning，我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…, Sn。 * * 具体来说，如果我们给隐藏神经元加入稀疏性限制，那么自编码神经网络即使在隐藏神经元数量较多的情况下仍然可以发现输入数据中一些有趣的结构。 * 现在假设我们只有一个没有带类别标签的训练样本集合。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值。 自编码神经网络尝试学习一个??的函数。换句话说，它尝试逼近一个恒等函数，从而使得输出?接近于输入??。恒等函数虽然看上去不太有学习的意义，但是当我们为自编码神经网络加入某些限制，比如限定隐藏神经元的数量，我们就可以从输入数据中发现一些有趣的结构。举例来说，假设某个自编码神经网络的输入??是一张?图像（共100个像素）的像素灰度值，于是??，其隐藏层?中有50个隐藏神经元。注意，输出也是100维的??。由于只有50个隐藏神经元，我们迫使自编码神经网络去学习输入数据的压缩表示，也就是说，它必须从50维的隐藏神经元激活度向量??中重构出100维的像素灰度值输入??。如果网络的输入数据是完全随机的，比如每一个输入??都是一个跟其它特