神经网络与深度学习---复旦大学.pdf

《神经网络与深度学习》 NeuralNetworksandDeepLearning 邱锡鹏 xpqiu@ 2019 年12 月23 日 序 很高兴为邱锡鹏教授的《神经网络与深度学习》一书写个序。 近年来由于阿尔法围棋战胜人类顶级高手新闻的轰动效应，让人工智能一 下子进入了寻常百姓家，成为家喻户晓的热词。阿尔法围棋之所以能取得如此成 功的关键技术之一，正是所谓的深度学习技术。而其实在阿尔法围棋出来之前， 以深度学习为代表的人工智能技术已经在模式识别、计算机视觉、语音识别与 生成、自然语言处理、机器翻译等方面取得了重要的进步。也因此，2018年有计 算机领域诺贝尔奖之称的图灵奖就颁给了对深度学习作出重要贡献的三位科学 家：YoshuaBengio、GeoffreyHinton和YannLeCun。 邱锡鹏教授的《神经网络与深度学习》一书较全面地介绍了神经网络、机器 学习和深度学习的基本概念、模型和方法，同时也涉及了深度学习中许多最新进 展。书后还提供了相关数学分支的简要介绍，以供读者需要时参考。 《神经网络与深度学习》一书已在网上发布，得到广泛好评，相信此书的出版 可以给有意了解或进入这一颇有前途领域的读者提供一个很好的参考书。基本 的深度学习相当于函数逼近问题，即函数或曲面的拟合，所不同的是这里用作基 函数的是非线性的神经网络函数，而原来数学中用的则是多项式、三角多项式、 B-spline、一般spline 以及小波函数等的线性组合。 由于神经网络的非线性和复杂性（要用许多结构参数和连接权值来描述）， 它有更强的表达能力，即从给定的神经网络函数族中可能找到对特定数据集拟 合得更好的神经网络。这相信正是深度学习方法能得到一系列很好结果的重要 原因。直观上很清楚，当你有更多的选择时，你有可能选出更好的选择。当然要从 非常非常多的选择中找到那个更好的选择并不容易。 这里既涉及设计合适的神经网络类型，也涉及从该类型的神经网络中找出 好的（即拟合误差小的）那个特定神经网络的方法。后者正是数学中最优化分支 所研究的问题。从数学角度看，目前深度学习中所用的优化算法还是属于比较简 单的梯度下降法。许多数学中已有的更复杂的算法，由于高维数问题都还没有得 到应用。 II 2019 年12 月23 日 本书中对这两方面都有很好的介绍。相信随着研究的不断发展，今后一定会 提出更多新的神经网络和新的优化算法。 所谓成也萧何败也萧何，神经网络的非线性和复杂性（即要用大量参数来描 述；在深度网络场合其个数动辄上万、百万甚至更多），使得虽然通过大量的标注 数据经过深度学习可以得到一个结果误差很小的神经网络，但要用它来进行解 释却是十分困难。其实这也是长期困扰神经网络方法的一个问题，使用深度神经 网络的深度学习方法也概莫能外。 难于解释相当于知其然不知其所以然。这对有些应用而言是可以的 但对有; 些可能造成严重后果的应用而言则有很大问题。一般而言，人们除了希望知其 然，也会希望能知其所以然。 近来也有学者发现，一个精度很高的神经网络，去改变它的几个（甚至一个） 参数，就会使该网络的性能下降许多。换言之，深度学习方法的鲁棒性也有待 研究。 总之，本书介绍的基于神经网络的深度学习方法是近年来经过大量实践并 取得很好成果的一种很通用的方法，也是近年来人工智能领域中最活跃的分支 之一。相信，无论在方法本身的发展上，抑或在新领域应用的研发上，都会呈现出 一派欣欣的气象。