Python深度学习（极简教程）.pdf

Python 深度学习 掌握数据科学和机器学习 利用Python、Theano 和TensorFlow 编写现代神经网络 LazyProgrammer 著 王宏琳 译 Python 深度学习 掌握数据科学和机器学习 利用Python、Theano 和TensorFlow 编写现代神经网络 目录 引言1 第1 章：什么是神经网络？2 第2 章 生物类比6 第3 章：从神经网络获取输出8 第4 章：利用反向传播训练神经网络12 第5 章：Theano 16 第6 章: TensorFlow22 第7 章：无监督学习、自动编码器、受限玻尔兹曼机、卷积神经网络和 LSTM26 Python 深度学习 引言 在撰写本书的时候（2016 年 3 月），深入学习的浪潮正在兴起。Google 的AlphaGo 程序在人机围棋比赛中，以4:1 战胜9 段专业棋手李世石。人工 智能领域的专家原来认为距离对一个顶级职业棋手的取胜还有10 年之遥，但 似乎进步比预想的要快! 虽然深度学习是一门复杂的学科，但学习起来不比学习任何其它机器学 习算法困难。我写这本书的目的是介绍神经网络的基本知识。你将会得到本 科水平的数学和编程技能。 本书的所有资料均可下载并免费安装。我们将使用Python 编程语言以及 数值计算库 Numpy 。在后面的章节中我也会介绍如何使用 Theano 和 TensorFlow 建立深度学习网络，TensorFlow 是专用于深入学习的程序库，并 可以利用GPU 加速计算。 深度学习与其它机器学习算法不同，特别强大，因为它能够自动学习特 征。这意味着你不需要花时间去尝试和测试“内核”或“交互效果”，那只是 统计学家喜欢做的事情。相反，我们将让神经网络为我们学习这些东西。每 一层的神经网络学习与前一层不同的抽象。例如，在图像分类中，第一层可 能学习不同的笔画，在下一层将笔画放在一起学习形状，在下一层将形状放 在一起形成面部特征，在下一层中有一个高层次的面部表情。 这本书用程序代码的例子来介绍这个“黑艺术”，使得你可以立即试验并 应用到你自己的数据。 1 Python 深度学习 第1 章：什么是神经网络？ 神经网络之所以被这样称呼，是因为在历史的某个时刻，计算机科学家 们试图用计算机代码来模拟大脑。 最终的目标是创造一个“人工通用智能”。这意味着是可以学习你我能学 习的任何东西的程序。我们还没有到那地步，所以不必害怕机器会接管人类。 目前神经网络在执行某些特定任务时非常好，例如对图像和语音进行分类。 与大脑不同，人工神经网络有非常严格的预定义的结构。 大脑是由电和化学信号相互交流的神经元组成的 （因此，有术语神经网 络）。在人工神经网络中，我们不区分这两种信号。从现在开始，我们只说一 个信号从一个神经元传递到另一个神经元。 信号通过所谓的“动作电位”从一个神经元传递到另一个神经元。它是 神经元细胞膜上的电脉冲。动作电位的有趣之处在于它们要么发生，要么不 发生。这就是所谓的“全有全无”原则。 下图是动作电位与时间的示意图，使用真实的物理单位。 神经元之间的这种联系有强度。你可能听过这个短语，“一起激发的神经 2 Python 深度学习 元，连接在一起”，这是加拿大神经心理学家唐纳德·赫布 （Donald Hebb） 提出的。 强连接的神经元将相互“打开”。因此，如果一个神经元向另一个神经元 发出信号（动作电位），并且它们的连接是强的，那么下一个神经元也会有动 作电位，然后就可以传递给其它神经元，等等。 如果两个神经元之间的连接是弱的，那么一个神经元向另一个神经元发 送信号，神