深度学习准备稿.docx

深度学习准备稿监督学习与无监督学习机器学习有一类学习方法叫做监督学习，它是说为了训练一个模型，我们要提供这样一堆训练样本：每个训练样本既包括输入特征x ，也包括对应的输出y( y 也叫做标记，label)。也就是说，我们要找到很多人，我们既知道他们的特征(工作年限，行业...)，也知道他们的收入。另外一类学习方法叫做无监督学习，这种方法的训练样本中只有x 而没有y 。模型可以总结出特征x 的一些规律，但是无法知道其对应的答案y 。机器学习机器学习是给定一些训练样本，让计算机自动寻找一个决策函数f(·) 来建立x 和y 之间的关系。损失函数我们还要建立一些准则来衡量决策函数的好坏。在很多机器学习算法中，一般是定义一个损失函数，然后在所有的训练样本上来评价决策函数的风险。用对参数求经验风险来逐渐逼近理想的期望风险的最小值，就是我们常说的经验风险最小化原则。我们的目标就是变成了找到一个参数使得经验风险最小。过拟合经验风险最小化原则很容易导致模型在训练集上错误率很低，但是在未知数据上错误率很高。这就是所谓的过拟合。过拟合问题往往是由于训练数据少和噪声等原因造成的。解决过拟合问题为了解决过拟合问题，一般在经验风险最小化的原则上加上参数的正则化，也叫结构风险最小化原则。常见的损失函数0-1损失函数平方损失函数交叉熵损失函数(负对数似然损失函数）Hinge损失函数批量梯度下降法与随机梯度下降法的区别区别在于每次迭代的风险是对所有样本汇总的风险还是单个样本的风险。随机梯度下降法因为实现简单，收敛速度也非常快，因此使用非常广泛。学习率设置在梯度下降中，学习率的取值非常关键，如果过大就不会收敛，如果过小则收敛速度太慢。一般步长可以由线性搜索算法来确定。在机器学习中，经常使用自适应调整学习率的方法。线性回归如果输入x是列向量，目标y是连续值（实数或连续整数），预测函数f(x)的输出也是连续值。这种机器学习问题是回归问题。线性回归的损失函数通常定义为平方损失函数。模型的经验风险为…。最小化经验风险…。线性分类Logistic回归 给定N个样本，我们使用交叉熵损失函数。模型在训练集的风险函数为…。采用批量梯度下降法进行权值更新。多类线性分类SoftMax 回归是Logistic 回归的多类推广给定N个样本我们使用交叉熵损失函数。模型在训练集的风险函数为…。采用批量梯度下降法进行权值更新。评价方法正确率错误率准确率召回率F1值--综合的评价指标感知器生物神经细胞细胞体树突轴突突触感知器模型两类感知器算法人工神经网络：前馈神经网络、反馈神经网络。神经元及其模型前馈神经网络及其模型前馈网络应用于机器学习前馈神经网络的目标函数。采用批量梯度下降法更新权值。用反向传播算法计算和。反向传播算法第l层的误差项可以通过第l+1层的误差项计算得到。这就是误差的反向传播（Backpropagation，BP）。反向传播算法的含义是：第l层的一个神经元的误差项（或敏感性）是所有与该神经元相连的第l+1层的神经元的误差项的权重和。然后，在乘上该神经元激活函数的梯度。前馈神经网络的训练过程可以分为以下三步：（1）先前馈计算每一层的状态和激活值，直到最后一层；（2）反向传播计算每一层的误差；（3）计算每一层参数的偏导数，并更新参数。梯度消失问题sigmoid型函数的值域都小于1。这样误差经过每一层传递都会不断衰减。当网络层数很深时，梯度就会不停的衰减，甚至消失，使得整个网络很难训练。这就是所谓的梯度消失问题（Vanishing Gradient Problem），也叫梯度弥散。 减轻梯度消失问题的一个方法是使用线性激活函数（比如rectifier 函数）或近似线性函数（比如softplus 函数）。这样，激活函数的导数为1，误差可以很好地传播，训练速度得到了很大的提高。 卷积神经网络卷积神经网络（Convolutional Neural Networks，CNN）是一种前馈神经网络。感受野主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。比如在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。卷积神经网络有三个结构上的特性：局部连接、权重共享以及空间或时间上的次采样。卷积神经网络具有一定程度上的平移、缩放和扭曲不变性。卷积神经网络由卷积层和下采样层交替层叠而成。卷积层采用权重共享, 使得网络的参数减少；下采样层由于采用最大值或均值下采样的方式, 使得图像维度降低。卷积层：用卷积来代替全连接在全连接前馈神经网络中，当m和n都很大时，权重矩阵的参数非常多，训练的效率会非常低。如果采用卷积来代替全连接，第l层的每一个神经元都只和第l-1层的一个局部窗口内的神经元相连，构成一个局部连接网络。权值共享子采样层卷积层虽然可以显著减少连