《机器学习及其应用》书籍 第7章 神经网络与深度学习-汪荣贵.pdfVIP

《机器学习及其应用》汪荣贵等编著 机械工业出版社2019 年第1 版 第七章 神经网络与深度学习 模仿人类或动物大脑结构是实现机器学习的一种重要方式，基于这种方式的机器学习通 常称之为连接主义学习或连接学习。连接学习主要通过建立人工神经网络数学模型实现对生 物神经系统组织结构、信息处理方式和系统功能的抽象、简化和模拟，由此实现机器学习和 人工智能的目标。在连接主义学习发展早期，人们针对不同类型的机器学习任务建立了多种 比较经典的人工神经网络模型，为使用神经网络模型有效解决复杂实际问题奠定了一定的理 论基础，随后人们开始尝试构造更加复杂、计算能力更强的神经网络模型以解决复杂的实际 任务。近年来，具有较深层次的深度神经网络模型研究取得了较大进展，在游戏博弈、视频 图像处理和自然语言理解等多个领域取得了巨大成功，并在全社会掀起了机器学习和深度学 习的研究热潮。本章主要介绍连接学习与人工神经网络的基本理论和关键技术，首先介绍人 工神经网络模型的基本结构和基本训练算法，然后分析讨论径向机网络、自编码器和玻尔兹 曼机等几种重要的人工神经网络模型，最后介绍深度学习的基本理论。 7.1 神经网络概述 人和动物的神经系统由大量名为神经元的基本单元通过某种高效的连接方式构成，人和 动物的思维活动则是通过众多神经元之间相互传送某些化学物质改变电位信息的方式实现。 通过建立人工神经网络模型模拟人类和动物的神经系统结构显然是实现机器智能最直接的 求解思路。本节主要介绍构建人工神经网络的基本知识，包括人工神经网络的基本构成单元、 基本结构和模型训练基本方法。 7.1.1 神经元与感知机 人类或动物神经系统的基本单元是生物神经元，这些生物神经元以确定的方式相互连接 形成复杂的拓扑结构，由此实现一种分层的多单元信息处理系统。当生物体接受到外界刺激 信号时，神经系统中部分神经元就会处于兴奋状态并通过化学电信号实现生物神经元之间的 信息传递，完成对输入信号的综合处理。这种综合信息处理过程依赖于众多神经元却不是众 多神经元信息处理结果的简单叠加。对单个神经元而言，其输入信息来自多个不同的神经元， 该神经元需将这些来自多个不同神经元的信息进行分析处理并将处理结果作为其输出信息 传送给其他神经元。由于神经元间的连接程度有所不同，其它神经元所感知到信号的强度也 各有不同，因此神经系统具备对各类复杂信息进行有效处理的强大能力。 连接学习主要通过模拟生物神经系统的结构和信息处理方式实现机器学习目标。生物神 经元是生物神经系统的基本构成单元，连接学习首先需要实现对生物神经元的模拟。虽然不 同生物神经系统中的神经元在功能和形态等方面存在一定差异，但均具有如图7-1 所示的基 本结构。图中树突为生物神经元的信号输入端，单个生物神经元通常包含多个树突；细胞体 为生物神经元的信号处理主体，多个输入信号经细胞体综合处理后形成输出信号；突触为生 物神经元的信号输出接口，可将该生物神经元所产生的信号传递至其他神经元。 1 《机器学习及其应用》汪荣贵等编著 机械工业出版社2019 年第1 版 图7-1 生物神经元基本结构 图7-2 人工神经元的结构 与生物神经系统类似，构成人工神经网络的基本单元是如图7-2 所示的人工神经元。人 工神经元的输入端模拟生物神经元的树突结构用于接收信息，每个人工神经元通常包含多个 输入端。为模拟生物神经元相互之间连接的紧密程度，人工神经元为每个输入数据赋予相应 权重参数，对于输入数据 ，其所对应的权重为 。生物神经元具有信息整合能力，即对于 多个输入信号，生物神经元可将这些信号整合为一个输出信号。为实现类似功能，人工神经 元将所有输入 , , ⋯ , 进行加权求和实现信息整合，即有： 1 2