第一章绪论-神经网络与深度学习.PDFVIP

第一章 绪论 一个人在不接触对方的情况下，通过一种特殊的方式，和 对方进行一系列的问答。如果在相当长时间内，他无法根据这 些问题判断对方是人还是计算机，那么就可以认为这个计算机 是智能的。 阿兰·图灵 ，《机器能思维吗？》 人工神经网络 （ ， ），也简称神经网络，是 一种受人脑神经网络工作方式启发而构造的一种数学模型。和目前计算机的结 构不同，人脑是一个高度复杂、非线性、并行的信息加工、处理系统。人脑神 经网络可以将声音、视觉等信号经过多层的编码，从最原始的低层特征不断加 工、抽象，最终得到原始信号的语义编码。人工神经网络是由人工神经元以及 神经元之间的连接构成，其中有两类特殊的神经元：一类是用来接收外部的信 息，另一类是输出信息。这样，神经网络可以看作是信息从输入到输出的信息 处理系统。如果我们把神经网络看作是由一组参数控制的复杂函数，并用来处 理一些模式识别任务（比如语音识别、人脸识别等）时，神经网络的参数可以 通过机器学习的方式来从数据中学习。由于神经网络模型一般比较复杂，从输 入到输出的信息传递路径一般比较长，所以复杂神经网络的学习可以看成是一 种深度的机器学习，即深度学习。 深度学习 （ ）是指一类问题以及解决这类问题的方法。首先， 深度学习问题是一个机器学习问题，指从某一类任务的有限样例中，通过算法 总结出具有一般性的规律，并可以应用到新的未知数据上。比如我们可以从一 些历史病例的集合，总结出症状和疾病之间的规律。这样，当有新的病人时，我 们可以利用总结出来的规律，来判断这个病人得了什么疾病。其次，深度学习 第一章 绪论 问题中采用的模型一般比较复杂，指样本的原始输入到输出目标之间的数据流 经过多个线性或非线性的组件（ ）。比如，多层神经网络可以看作 是一个深度学习模型。因为每个组件都会对信息进行加工，并进而影响后续的 组件。当我们最后得到输出结果时，我们并不清楚其中每个组件的贡献是多少。 这个问题叫做贡献度分配问题 （ ） 。 “贡献度分配问题”也经 在深度学习中，贡献度分配问题一直是一个很关键的问题，这关系到如何学习 常翻译为“信用分配问 每个组件中的参数。 题”或“功劳分配问题”。 神经网络和深度学习并不等价。深度学习可以采用神经网络模型，也可以 采用其它模型（比如深度信念网络是一种概率图模型）。但是由于贡献度分配问 题，神经网络模型成为深度学习中主要采用的模型。在本书中，我们主要介绍 有关神经网络和深度学习的基本概念、相关模型、学习方法以及在计算机视觉、 自然语言处理等领域的应用。 虽然深度学习来源于机器学习（更具体地说是神经网络），但是越来越多地 用来解决一些通用人工智能问题。在本章中，我们先介绍下人工智能的基础知 识，然后再介绍神经网络和深度学习的基本概念。 人工智能 智能 （ ）是现代生活中很常见的一个词，比如智能手机、智能 家居、智能驾驶等。在不同使用场合中，智能的含义也不太一样。比如“智能 手机”中的“智能”一般是指由计算机控制并具有某种智能行为的意思。这里 “智能”可以理解为“智 的“计算机控制” “智能行为”隐含了对人工智能的简单定义。 力”和“能力”。前者是 智能的基础，后者是指 简单地讲，人工智能（ ）就是让机器具有人类的智 获取和运用知识求解的 能，这也是人们长期追求的目标。这里关于什么是“智能”并没有一个很明确 能力。 的定义