深度学习今生前世.PDFVIP

深度学习：今生前世 年 月 日 译者按： 深度学习这个术语自 年被正式提出后，在最近 年得到了巨大的 发展，它使人工智能产生了革命性的技术突破，让我们切实地领略到人工智能改变人类 生活的潜力。受人民邮电出版社的邀请，我的几位学生承担了 ， 和 后续简称他们为 撰写的《 》一书翻译工作。原著三位作 者一直耕耘于机器学习领域的前沿，引领深度学习的发展潮流。 原著第一章关于深度学习的思想、历史发展等的论述深刻、透彻和精辟，也非常耐 人回味。我们在阅读该章时启发良多，大有裨益。因此，我们决定把该章的译稿独立成 文，并取名为《深度学习：今生前世》。我们期望把它发布出来和大家分享。由于其篇幅 较长，为了方便快速抓住其核心思想，这里我们把其中关键的内容摘录出来，同时把我 个人一些的体会也一并呈现给大家。 指出：人工智能的真正挑战在于解决那些对人来说很容易执行、但很难形式 化描述的任务，比如识别人们所说的话或图像中的脸。对于这些问题，我们人类往往可以 凭直觉轻易地解决。为了解决这个挑战，他们提出让计算机从经验中学习，并根据层次 化的概念体系来理解世界，而每个概念通过与某些相对简单的概念之间的关系定义。由 此， 给出了深度学习的定义。具体地，层次化的概念让计算机构建较简单的概念 来学习复杂概念。如果绘制出这些概念如何建立在彼此之上的图，我们将得到一张‘深’ 层次很多 的图。基于这个原因，我们称这种方法为 深度学习 。 因此， 认为：深度学习是通向人工智能的途径之一。而且他们给出深度学习 与机器学习之间的关系。 认为：深度学习是机器学习的一种，一种能够使计算机 系统从经验和数据中得到提高的技术。我们坚信机器学习可以构建出在复杂实际环境下 运行的 系统，并且是唯一切实可行的方法。深度学习是一种特定类型的机器学习，具 有强大的能力和灵活性，它将大千世界表示为嵌套的层次概念体系 由较简单概念间的联 系定义复杂概念、从一般抽象概括到高级抽象表示。 指出：一般来说，目前为止深度学习已经经历了三次发展浪潮： 世纪 年代到 年代深度学习的雏形出现在控制论 中， 世纪 年代到 年 代深度学习以联结主义 为代表，并于 年开始，以深度学习之名复 兴。 谈到深度学习与脑科学或者神经科学的关系， 强调：如今神经科学在深度学 习研究中的作用被削弱，主要原因是我们根本没有足够的关于大脑的信息作为指导去使 用它。要获得对被大脑实际使用算法的深刻理解，我们需要有能力同时监测 至少是 数 千相连神经元的活动。我们不能够做到这一点，所以我们甚至连大脑最简单、最深入研 究的部分都还远远没有理解。值得注意的是，我国正致力于把人工智能和脑科学的交叉 学科研究被提到战略地位，计划在 类脑智能 或 脑计算 等方面投入重点资助。且不 论我国是否真有既懂人工智能又懂脑科学或神经科学的学者，我们都应该本着务实、理 性的求是态度。唯有如此，我们才有可能在这一波人工智能发展浪潮中有所作为，而不 是又成为一群观潮人。 进一步地， 指出：媒体报道经常强调深度习与大脑的相似性。的确，深度学 习研究者比其他机器学习领域 如核方法或贝叶斯统计 的研究者更可能地引用大脑作为 影响，但大家不应该认为深度学习在尝试模拟大脑。现代深度学习从许多领域获取灵感， 特别是应用数学的基本内容如线性代数、概率论、信息论和数值优化。尽管一些深度学 习的研究人员引用神经科学作为灵感的重要来源，然而其他学者完全不关心神经科学。 的确，对于广大年青学者和一线的工程师们，我们是可以完全不用因不懂神经 或脑 科 学而对深度学习、人工智能踯躅不前。数学模型、计算方法和应用驱动才是我们研究人 工智能的可行之道。此外，我们诚然可以从哲学层面或角度来欣赏科学问题，但切不能 从哲学层面来研究科学问题。 至于谈到人工神经网络在 世纪 年代中期的衰落， 分析了其原因。基于 神经网络和其他 技术的创业公司开始寻求投资，其做法野心勃勃但不切实际。当 研究不能实现这些不合理的期望时，投资者感到失望。同时，机器学习的其他领域取得 了进步。比如，核方法和图模型都在很多重要任务上实现了很好的效果。这两个因素导 致了神经网络热潮的第二次衰退，并一直持续到 年。其兴也悖焉，其亡也忽焉。 这个教训也同