人工智能导论4.深度学习.pdfVIP

深度学习

许多研究表明，为了能够学习表示高阶抽象概念

的复杂函数，解决目标识别、语音感知和语言理解

等人工智能相关的任务，需要引入深度学习（Deep

Learning）。

深度学习的架构由多层非线性运

算单元组成，每个较低层的输出作为更

高层的输入，可以从大量输入数据中学

习有效的特征表示，学习到的高阶表示

中包含输入数据的许多结构信息，能够

用于分类、回归、信息检索等数据分析

和挖掘的特定问题中。

神经网络

神经网络（NeuralNetwork，NN）亦称为

人工神经网络（ArtificialNeuralNetwork，

ANN），是由大量神经元（Neurons）广泛互

连而成的网络，是对人脑的抽象、简化和模

拟，应用了一些人脑的基本特性。

人工神经网络是为获得某个

特定问题的解，根据生物神经网络

机理，按照控制工程的思路及数学

描述方法，建立相应的数学模型并

采用适当的算法，而有针对性地确

定数学模型参数的技术。

人工神经网络具有很强的自学习能力，

它可以不依赖于“专家”的头脑，自动从已

有的实验数据中总结规律。

神经网络发展历史

1943年，麦卡洛克1969年，人工智能的

（McCulloch）和皮创始人明斯基和派

特斯（Puts）提出珀特（Papert）的著

了逻辑神经元数学作Perceptrons

模型——MP模型，（《感知机》）出

从而给出了神经元版，书中指出，单

最基本的模型及相层感知只能作线性

应的工作方式。划分，多层感知还

没有可用的算法，

因此感知无实用价

值。

198年，辛顿联合鲁

姆哈特

（Rumelhart）等人

提出了多层感知机

的权值训练的算法

——反向传播

（BackPropagation

，BP）算法，从而

解决了多层感知机

学习的问题，引导

了神经网络的复兴

单个神经元

对于一个带有标签的数据样本集（x,y），神经网络算法通过

ii

建立一种具有参数W、b的复杂非线性假设模型h(x)，来拟合

w,b

样本数据。

一个最简单的单个神经元的网络模型，

它只包含一个神经元。

该单个神经元是一个运算单元，它的输入是训练样本x1,x2,x3其中“+1”是

一个偏置项。该运算单元的输出结果是.

，其中f是这个神经元的激活函数。

单个神经元的输入和输出映射关系本质上是一个逻辑回归，此处可以使用

siGmoid函数作为神经节点激活函数

神经网络的结构

神经网络是指将多个单一神经元连接在一起