《深度学习》课件第三章深度学习算法.pptxVIP

第三章深度学习的算法3.1神经网络经典算法3.2梯度下降3.3动量算法3.4反向传播of12513.6迁移学习3.5弱监督学习3.7小样本学习3.8Dropout

第三章深度学习的算法of12523.1神经网络经典算法监督学习利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程数据集中所使用的每一个样本都有一个对应的标签（label），而样本和标签之间则是通过学习进行关联。监督学习算法逻辑回归模型支持向量机?3.1.1 监督学习算法

第三章深度学习的算法of12533.1神经网络经典算法逻辑回归模型??F(x)曲线的增长速度在两端呈现较慢趋势，而在中心附近则呈现较快趋势

第三章深度学习的算法of12543.1神经网络经典算法该模型的条件概率分布????

第三章深度学习的算法of12553.1神经网络经典算法?相应的二项逻辑回归模型??

第三章深度学习的算法of12563.1神经网络经典算法如何通过数据集来估计模型的参数?极大似然估计法设似然函数为对数似然函数为

第三章深度学习的算法of12573.1神经网络经典算法对数似然函数为通过对计算极大值就可以得到的估计值。

第三章深度学习的算法of12583.1神经网络经典算法学习得到的二项逻辑回归模型

第三章深度学习的算法of12593.1神经网络经典算法支持向量机（SVM）一类按监督学习方式对数据进行二元分类的非线性分类器函数，其决策边界是对学习样本求解的最大边距超平面。??

第三章深度学习的算法of125103.1神经网络经典算法支持向量机（SVM）进一步可以改写成如下形式：一般是非线性的，如高斯函数。可以将x替换为特征函数?的输出，得

第三章深度学习的算法of125113.1神经网络经典算法支持向量机（SVM）进一步可以改写成如下形式：目标：SVM的参数由样本学习获得。约束条件：

第三章深度学习的算法of125123.1神经网络经典算法K近邻其他简单的监督学习方法对于给定一个样本x，根据其k个最近邻的训练样本的类别，通过多数表决等方式对新的输入样本的类别进行预测，如果这k个最近邻样本参数属于某一类别，则判定该输入样本x也属于这个类别。

第三章深度学习的算法of125133.1神经网络经典算法决策树用来描述对样本分类时其分类过程的树形结构。决策树由结点和有向边组成，结点又分成内结点和叶结点两种类型，内结点对应样本的一个特征或属性，叶结点表示样本的一个类别。从根结点开始，对样本的某一特征进行测试，将样本分配到其对应的子结点，递归这一过程，直至叶结点，最后的叶节点为该样本所对应的类别。其他简单的监督学习方法预测用户偿还贷款的能力

第三章深度学习的算法of125143.1神经网络经典算法3.1.2无监督学习训练集中每个样本不带任何标记信息，通过对这些样本的学习，来揭示样本特征的内在性质及规律。聚类学习是一种典型的无监督学习，它将数据集中的样本划分为若干个互不相交的子集，每个子集称为一个“簇”。???

第三章深度学习的算法of125153.1神经网络经典算法3.1.2无监督学习

第三章深度学习的算法of125163.1神经网络经典算法3.1.3半监督学习半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。在带标记的样本上使用监督学习构建模型，再让该模型通过未标记样本来提升学习性能，并且这个过程不用依赖外界的交互，是一个自动进行的过程。在半监督学习中，通常要做一些将数据分布信息与类别标记相联系的假设，当模型假设正确时，无类标签的样例能够帮助改进学习性能，最常见的假设是聚类假设和流形假设。

第三章深度学习的算法of125173.1神经网络经典算法半监督学习算法1.生成模型算法（Generatesemi-supervisedmodels）思想：假设一个模型，其分布满足：p(x,y)=p(y)p(x|y)。其中，p(x|y)是已知的条件概率分布。那么大量未经标记数据的联合分布就可以被确定。

第三章深度学习的算法of125183.1神经网络经典算法半监督学习算法2．自训练算法（Self-training）思想：首先训练带有标记的数据（监督训练），得到一个分类器。然后使用这个分类器对未标识的数据进行分类。根据分类结果，将可信程度较高的未标记数据及其预测标记加入训练集，扩充训练集规模，重新学习以得到新的分类器。

第三章深度学习的算法of125193.1神经网络经典算法半监督学习算法3.联合训练算法（Co-training）思想：首先根据已标记数据的两组不同特征来划分出不同的两个数据集，